Разработка модели нейронной сети, распознающей жестовую речь человека
Рабочий прототип установлен в кабинете врача и помогает врачу вести прием с глухонемым пациентом.
Система состоит из десктоп приложения и мобильного приложения. Способна переводить в обе стороны: переводить жестовую речь в текст, а также из текста генерировать жестовую речь
Распознает 120 жестов глухонемой речи характерной для региона Минск с достоверностью 86%.
Под капотом нейронная сеть обученная на датасете, который наша команда собирала и размечала самостоятельно. Приложения и серверная части задействуют Unity3d, Python. Также были разработаны отдельные утилиты-приложения для облегчения разметки видео ряда.