COSIGN – Ứng dụng dịch và học ngôn ngữ ký hiệu thông minh vì một xã hội hòa nhập

Trong bối cảnh chuyển đổi số giáo dục và hướng tới một xã hội bình đẳng, việc xóa bỏ rào cản giao tiếp cho người khiếm thính là một nhiệm vụ mang tính nhân văn sâu sắc. Tại Việt Nam hiện có khoảng 2 triệu người điếc – câm, phần lớn sống ở khu vực nông thôn và gặp rất nhiều khó khăn trong việc tiếp cận giáo dục, y tế cũng như các dịch vụ công cộng. Nhằm mang lại “tiếng nói” và mở ra cơ hội bình đẳng cho cộng đồng yếu thế, dự án CoSign đã được nghiên cứu và phát triển. Đây là một nền tảng công nghệ số đột phá, ứng dụng Trí tuệ nhân tạo và Thị giác máy tính giúp người khuyết tật và người thân có thể tra cứu, tự học và dịch ngôn ngữ ký hiệu một cách trực quan, tự nhiên.

Đội ngũ phát triển và sứ mệnh cộng đồng

Dự án được nghiên cứu và phát triển bởi nhóm sinh viên Ngô Tuấn Anh, Nguyễn Hoàng Điệp, Nguyễn Đăng Minh dưới sự ươm tạo, hỗ trợ từ Trung tâm Đổi mới Sáng tạo và Khởi nghiệp (PTIT IEC) thuộc Học viện Công nghệ Bưu chính Viễn thông.

Với thông điệp tôn trọng quyền giao tiếp cơ bản của con người, CoSign hướng tới phục vụ:

  • Người khiếm thính (điếc – câm): Xóa bỏ sự cô lập, hỗ trợ giao tiếp hàng ngày và nâng cao năng lực tự học để tìm kiếm cơ hội nghề nghiệp.

  • Người thân, gia đình và người hỗ trợ: Tiếp cận phương thức học ngôn ngữ ký hiệu đơn giản để dễ dàng tương tác, thấu hiểu người thân khiếm khuyết.

  • Cộng đồng và các trung tâm giáo dục đặc biệt: Cung cấp bộ công cụ giảng dạy, học tập số hóa chuẩn quy trình, thu hẹp khoảng cách tiếp cận tri thức.

Hệ thống phân hệ tính năng và công nghệ cốt lõi

Ứng dụng CoSign được triển khai linh hoạt dưới dạng Mobile App và Web App, vận hành dựa trên kiến trúc xử lý AI thông minh qua máy chủ trung tâm với 4 phân hệ chính:

1. Module tra cứu từ điển ký hiệu số

  • Cho phép người dùng nhập các từ hoặc cụm từ thông thường bằng văn bản tiếng Việt.

  • Hệ thống sẽ truy xuất dữ liệu và trả về video minh họa động tác ký hiệu tương ứng.

  • Cơ sở dữ liệu ban đầu xây dựng từ 1.500 – 2.000 từ thông dụng, được phân loại khoa học theo các danh mục như động từ, danh từ, câu hỏi, biểu thức giao tiếp cơ bản….

2. Module tự học tương tác thông minh (LMS)

  • Khóa học được thiết kế theo cấu trúc hệ thống quản lý học tập (LMS – Learning Management System) phân chia bài bản theo các chủ đề: Đếm số, Hội thoại hàng ngày, Toán học lớp 2….

  • Ứng dụng mô hình Học tập vi mô (Micro-learning): Mỗi bài học được đóng gói ngắn gọn từ 5 – 10 phút, kết hợp hình ảnh và âm thanh trực quan giúp người học dễ dàng tiếp thu mà không bị quá tải.

  • AI nhận diện và chấm điểm: Khi người học bắt chước và ghi hình lại hành động ký hiệu của mình, mô hình thị giác máy tính của AI sẽ lập tức phân tích và đánh giá độ chính xác của động tác theo tỷ lệ phần trăm (%), hỗ trợ theo dõi tiến độ cá nhân.

3. Module dịch ngôn ngữ ký hiệu sang văn bản

  • Hỗ trợ đắc lực cho người khiếm thính giao tiếp với người xung quanh. Người dùng thực hiện các cử chỉ, biểu hiện bằng tay trước camera thiết bị.

  • Hệ thống ứng dụng thị giác máy tính và học máy để phân tích luồng video, nhận diện hành động và chuyển đổi tức thời sang dạng văn bản hiển thị trên màn hình. Module dịch hiện hỗ trợ cơ sở dữ liệu cốt lõi 100 từ giao tiếp nền tảng.

Lợi thế giải pháp và Lợi ích xã hội mang lại

  • Thu hẹp khoảng cách giáo dục: Mang lại cơ hội tự học ngôn ngữ ký hiệu hoàn toàn miễn phí ngay tại nhà cho các hộ gia đình nghèo ở vùng nông thôn, vùng sâu vùng xa – nơi không có điều kiện kinh tế để theo học các trường giáo dục đặc biệt chuyên biệt.

  • Giải quyết bài toán khan hiếm nhân lực: Thay thế một phần vai trò của thông dịch viên ký hiệu chuyên nghiệp (vốn đang cực kỳ khan hiếm tại Việt Nam) thông qua trợ lý dịch AI tự động.

  • Tạo động lực học tập: Cuối mỗi chủ đề học, hệ thống áp dụng cơ chế game hóa (gamification) bằng cách hiển thị tổng điểm tích lũy và bảng xếp hạng những người học xuất sắc nhằm thúc đẩy tinh thần cố gắng.

Hướng phát triển trong tương lai

  • Tương lai gần (1 – 3 năm): Đẩy mạnh hợp tác với các tổ chức phi lợi nhuận; phát hành phiên bản thử nghiệm chính thức trên các chợ ứng dụng; triển khai 61 cuộc triển lãm số kết hợp hội thảo tại các trường THPT để tăng độ nhận diện cộng đồng.

  • Tương lai xa: Huy động nguồn vốn đầu tư, ngân sách hỗ trợ từ Chính phủ; mở rộng quy mô bộ từ điển ký hiệu; đồng thời nghiên cứu phát triển thêm các thiết bị phần cứng hỗ trợ đi kèm để tối ưu hóa sự tiện dụng.

Thông tin liên hệ

Trung tâm Đổi mới sáng tạo và Khởi nghiệp – PTIT IEC

Học viện Công nghệ Bưu chính Viễn thông.

Fanpage Facebook: facebook.com/PTITIEC

Phòng Quản lý Khoa học Công nghệ & Hợp tác Quốc tế, Học viện Công nghệ Bưu chính Viễn thông.

Email: khcnhtqt@ptit.edu.vn