Signlang - Ứng dụng AI và công nghệ 3D hỗ trợ giao tiếp bằng ngôn ngữ ký hiệuNew

Từ mong muốn giải quyết những khó khăn trong giao tiếp của người khiếm thính, nhóm liên trường HEARO, gồm sinh viên Trường Đại học Bách khoa, Đại học Đà Nẵng (ĐHĐN) và Trường Đại học ngoại ngữ, ĐHĐN đã phát triển SignLang, một giải pháp ứng dụng trí tuệ nhân tạo (AI) và công nghệ 3D nhằm hỗ trợ chuyển đổi hai chiều giữa ngôn ngữ nói và ngôn ngữ ký hiệu. Dự án vừa được trao Giải Tiềm năng tại Startup Runway 2026, ghi dấu một hướng tiếp cận giàu tính công nghệ nhưng xuất phát từ một nhu cầu rất đời thường của cộng đồng.

Nhóm Hearo gồm Nguyễn Văn Chương, lớp 22T_Nhat1; Ngô Văn Đắc Trí, lớp 24T_DT4; Nguyễn Hữu Rin, lớp 25T_KHDL (Trường Đại học Bách khoa, ĐHĐN) và Nguyễn Hà Minh Thi, lớp 22CNĐPH01 (Trường Đại học Ngoại ngữ, ĐHĐN).

Từ vấn đề đời sống đến ý tưởng công nghệ

Đối với người khiếm thính, những hoạt động quen thuộc như đi khám bệnh, làm thủ tục hành chính hay mua sắm đôi khi trở thành những tình huống khó khăn khi thiếu người biết ngôn ngữ ký hiệu. Rào cản giao tiếp không chỉ khiến việc trao đổi thông tin bị hạn chế mà còn ảnh hưởng đến khả năng tiếp cận các dịch vụ và hòa nhập với cộng đồng.

Từ thực tế đó, Nhóm Hearo đặt câu hỏi: Liệu công nghệ có thể trở thành một “cầu nối” giúp người khiếm thính và người không biết ngôn ngữ ký hiệu giao tiếp thuận tiện hơn?

Chia sẻ về ý tưởng thực hiện dự án, sinh viên Nguyễn Văn Chương - Lớp 22T_Nhat1 cho biết: “SignLang bắt đầu từ một thực tế nhức nhối: sự cô lập và thiệt thòi của cộng đồng người khiếm thính trong các hoạt động thường ngày. Trong những tình huống tưởng chừng đơn giản như đi khám bệnh, làm thủ tục hành chính hay mua sắm, việc thiếu vắng người phiên dịch khiến họ không thể diễn đạt nhu cầu hoặc hiểu được thông tin. Nhóm mong muốn phá vỡ bức tường vô hình này, mang lại sự bình đẳng trong giao tiếp và giúp người khiếm thính hòa nhập trọn vẹn hơn vào cộng đồng.”

Từ đó, nhóm lựa chọn AI kết hợp công nghệ 3D để phát triển một hệ thống có khả năng hỗ trợ giao tiếp hai chiều: chuyển giọng nói hoặc văn bản của người nghe thành ngôn ngữ ký hiệu thông qua nhân vật 3D; đồng thời nhận diện cử chỉ của người khiếm thính qua camera và chuyển thành văn bản hoặc giọng nói.

AI và công nghệ 3D - biến lời nói thành ngôn ngữ ký hiệu

Điểm nổi bật của SignLang nằm ở sự kết hợp giữa Speech-to-Sign, xử lý ngôn ngữ tự nhiên (NLP), thị giác máy tính (Computer Vision) và hoạt ảnh nhân vật 3D.

Ở chiều từ tiếng nói sang ngôn ngữ ký hiệu, hệ thống sử dụng công nghệ nhận dạng giọng nói để chuyển âm thanh thành văn bản. Sau đó, AI phân tích nội dung và chuyển câu nói thành chuỗi ký hiệu. Công nghệ skeletal animation và motion blending được sử dụng để điều khiển hệ xương của nhân vật 3D, tạo ra các chuyển động ký hiệu liên tục.

Theo nhóm, lựa chọn công nghệ 3D xuất phát từ đặc thù của ngôn ngữ ký hiệu. Ngôn ngữ này không chỉ thể hiện qua chuyển động của bàn tay mà còn bao gồm nét mặt, khẩu hình và không gian biểu đạt. Vì vậy, nhân vật 3D có thể tạo ra cách thể hiện trực quan và linh hoạt hơn so với việc chỉ chuyển lời nói thành văn bản hoặc sử dụng các đoạn video dựng sẵn.

Ở chiều ngược lại, camera ghi nhận chuyển động của người sử dụng ngôn ngữ ký hiệu. Hệ thống sử dụng AI và Computer Vision để nhận diện cử chỉ, từ đó chuyển đổi thành văn bản hoặc giọng nói cho người đối diện.

Phần thuyết trình của nhóm tại cuộc thi Startup Runway 2026

Hướng đến những tình huống giao tiếp thực tế

Một trong những tình huống mà Hearo hướng đến là hỗ trợ giao tiếp tại bệnh viện. Khi bác sĩ đặt câu hỏi cho bệnh nhân khiếm thính, SignLang có thể chuyển lời nói thành ngôn ngữ ký hiệu thông qua nhân vật 3D trên màn hình. Bệnh nhân sau đó thực hiện ký hiệu trước camera để hệ thống nhận diện và chuyển thành nội dung bằng văn bản hoặc giọng nói, giúp bác sĩ tiếp nhận thông tin.

Qua đó, SignLang hướng đến việc hỗ trợ hai bên giao tiếp trực tiếp, giảm bớt sự phụ thuộc vào người phiên dịch trong những tình huống giao tiếp cơ bản.

Hiện SignLang đã hoàn thiện phiên bản demo với khả năng triển khai cả hai chiều dịch. Theo kết quả thử nghiệm của nhóm, chiều chuyển đổi từ tiếng nói sang ngôn ngữ ký hiệu đạt độ chính xác khoảng 98%, trong khi chiều nhận diện ký hiệu và chuyển thành ngôn ngữ tự nhiên đạt khoảng 88%.

Tuy nhiên, nhóm cũng xác định đây mới là bước đầu. Phiên bản hiện tại chủ yếu nhận diện ký hiệu theo từng từ riêng lẻ, chưa xử lý hoàn chỉnh các câu ký hiệu liên tục. Đây là một trong những hướng nghiên cứu được Hearo Team tiếp tục tập trung cải tiến.

Một trong những khó khăn lớn nhất của nhóm là xây dựng dữ liệu ngôn ngữ ký hiệu Việt Nam. Ngôn ngữ ký hiệu có những khác biệt nhất định giữa các vùng miền Bắc, Trung và Nam, trong khi dữ liệu công khai còn hạn chế và chưa thống nhất.

Để giải quyết, nhóm giới hạn phạm vi của phiên bản đầu tiên, ưu tiên những ký hiệu phổ biến và có tính tương đồng giữa các vùng. Bên cạnh việc tổng hợp dữ liệu từ các nguồn đáng tin cậy, nhóm còn tự quay bổ sung nhiều mẫu với người thực hiện, góc quay và điều kiện ánh sáng khác nhau, đồng thời kiểm tra ý nghĩa của từng ký hiệu trước khi đưa vào huấn luyện.

Về lâu dài, Hearo hướng đến xây dựng bộ dữ liệu được phân loại theo từng vùng miền, giúp SignLang có khả năng nhận diện nhiều biến thể của ngôn ngữ ký hiệu Việt Nam.

Giải Tiềm năng tại Startup Runway 2026

Tại Startup Runway 2026, Hearo đã có cơ hội giới thiệu SignLang trước các chuyên gia và nhận được nhiều góp ý để tiếp tục hoàn thiện sản phẩm.

Theo nhóm, điều ấn tượng nhất không chỉ là cơ hội được trình bày dự án mà còn là những góc nhìn thực tế từ Ban Giám khảo. Bên cạnh việc đánh giá cao ý tưởng và giá trị xã hội của SignLang, Ban Giám khảo định hướng nhóm cần quan tâm hơn đến khả năng tiếp cận người dùng và đưa sản phẩm vào những tình huống thực tế, thay vì chỉ tập trung vào việc hoàn thiện công nghệ.

Đây cũng là những góp ý giúp nhóm nhìn rõ hơn con đường phát triển của SignLang trong thời gian tới.

Theo bạn Ngô Văn Đắc Trí - lớp 24T_DT4, điểm khiến dự án được trao Giải Tiềm năng là sự kết hợp giữa công nghệ và giá trị cộng đồng. “SignLang không dừng lại ở việc nghiên cứu công nghệ mà hướng đến việc đưa công nghệ vào giải quyết một vấn đề thực tế trong cuộc sống. Tính thực tiễn, giá trị cộng đồng và tiềm năng phát triển thành một sản phẩm có thể tiếp cận được nhiều người dùng là những yếu tố mà nhóm cho rằng đã giúp SignLang nhận được Giải Tiềm năng.”

Trong quá trình phát triển SignLang, nhóm nhận được sự đồng hành từ DUT AI CLUB, Không gian đổi mới sáng tạo DUT MAKER và các thầy cô giảng viên Trường Đại học Bách khoa, ĐHĐN. Đây là môi trường giúp các thành viên tiếp cận kiến thức về AI, trao đổi kỹ thuật, thử nghiệm nguyên mẫu và kết nối với những sinh viên có cùng định hướng nghiên cứu.

DUT MAKER đồng thời tạo không gian để nhóm triển khai các hoạt động thiết kế, thử nghiệm và hoàn thiện sản phẩm; trong khi các hoạt động nghiên cứu khoa học, đổi mới sáng tạo và các cuộc thi khởi nghiệp do Nhà trường tổ chức tạo thêm cơ hội để nhóm đưa sản phẩm đến gần hơn với chuyên gia và cộng đồng.

Ban tổ chức trao giải Tiềm năng cho Nhóm Hearo tại cuộc thi Startup Runway 2026

Sau Giải Tiềm năng, Nhóm Hearo đặt mục tiêu tiếp tục cải thiện khả năng nhận diện, mở rộng dữ liệu và hoàn thiện công nghệ dịch ngôn ngữ ký hiệu. Nhóm cũng hướng đến việc tích hợp công nghệ nhân vật 3D vào những nền tảng phổ biến như YouTube, TikTok, Facebook, qua đó hỗ trợ người sử dụng ngôn ngữ ký hiệu tiếp cận thuận lợi hơn với các nội dung số.

Xa hơn, nhóm kỳ vọng SignLang không chỉ dừng lại ở một dự án nghiên cứu hay sản phẩm dự thi mà có thể trở thành một công cụ công nghệ hữu ích trong đời sống, góp phần thu hẹp khoảng cách giao tiếp và tạo thêm cơ hội để người khiếm thính hòa nhập bình đẳng hơn với cộng đồng.

Từ một bài toán rất đời thường, Nhóm Hearo đang cho thấy cách sinh viên Bách khoa có thể biến kiến thức công nghệ thành những giải pháp hướng đến con người- nơi AI không chỉ tạo ra những sản phẩm thông minh hơn, mà còn góp phần kết nối con người với con người.

Tin, ảnh: Phòng Công tác sinh viên, Trường Đại học Bách khoa, ĐHĐN