Студент ДГТУ разрабатывает приложение для общения с глухонемыми людьми
Студент ДГТУ разрабатывает приложение для общения с глухонемыми людьми

Обучающийся 3-го курса Института сквозных технологий «Т – Университет» Донского государственного технического университета Илья Стряпчий создает сервис в виде мобильного приложения, который облегчит коммуникацию с глухонемыми людьми. В разработке применяется компьютерное зрение и нейронные сети. Проект «Кинесикс» вошел в число победителей конкурса «Студенческий стартап» Фонда содействия инновациям Платформы университетского технологического предпринимательства.


 

Мобильное приложение может быть использовано людьми и организациями, контактирующими с глухонемыми людьми – сотрудниками предприятий общественного питания, организациями и работниками социальной поддержки (в том числе волонтерами), а также таксистами, проводниками в поездах и самолетах, экскурсоводами.


По словам автора проекта, компьютерное зрение и нейронные сети – это две технологии, которые позволяют мгновенно в режиме реального времени понимать язык жестов и переводить его на привычный русский язык, а также и наоборот – с русского языка на язык жестов.

– Для выполнения сурдоперевода мы используем специально обученную нейросеть, выполняющую анализ при помощи мощностей наших серверов. Это позволяет добиться минимальной задержки перевода – всего в две секунды. Еще одним преимуществом нашего продукта является способность к постоянному и почти полностью автоматическому улучшению качества перевода на основе обратной связи пользователей – производится оценка корректности перевода, – пояснил Илья Стряпчий. – Кроме того, наша нейросеть будет обучена на датасете Slovo, который предназначен специально для перевода русского языка жестов (РЯЖ), что увеличит качество перевода жестов именно русскоязычного сегмента пользователей.

Для еще большего облегчения коммуникации, в продукте предусмотрена функция перевода устной речи в динамическую картинку-видеоролик, который можно показать собеседнику. Преимуществом использования искусственного интеллекта является то, что программный алгоритм сможет самостоятельно дообучаться, что со временем повысит качество сурдоперевода.




Город

Студент ДГТУ разрабатывает приложение для общения с глухонемыми людьми

5-09-2024 14:30

Обучающийся 3-го курса Института сквозных технологий «Т – Университет» Донского государственного технического университета Илья Стряпчий создает сервис в виде мобильного приложения, который облегчит коммуникацию с глухонемыми людьми. В разработке применяется компьютерное зрение и нейронные сети. Проект «Кинесикс» вошел в число победителей конкурса «Студенческий стартап» Фонда содействия инновациям Платформы университетского технологического предпринимательства.


 

Мобильное приложение может быть использовано людьми и организациями, контактирующими с глухонемыми людьми – сотрудниками предприятий общественного питания, организациями и работниками социальной поддержки (в том числе волонтерами), а также таксистами, проводниками в поездах и самолетах, экскурсоводами.


По словам автора проекта, компьютерное зрение и нейронные сети – это две технологии, которые позволяют мгновенно в режиме реального времени понимать язык жестов и переводить его на привычный русский язык, а также и наоборот – с русского языка на язык жестов.

– Для выполнения сурдоперевода мы используем специально обученную нейросеть, выполняющую анализ при помощи мощностей наших серверов. Это позволяет добиться минимальной задержки перевода – всего в две секунды. Еще одним преимуществом нашего продукта является способность к постоянному и почти полностью автоматическому улучшению качества перевода на основе обратной связи пользователей – производится оценка корректности перевода, – пояснил Илья Стряпчий. – Кроме того, наша нейросеть будет обучена на датасете Slovo, который предназначен специально для перевода русского языка жестов (РЯЖ), что увеличит качество перевода жестов именно русскоязычного сегмента пользователей.

Для еще большего облегчения коммуникации, в продукте предусмотрена функция перевода устной речи в динамическую картинку-видеоролик, который можно показать собеседнику. Преимуществом использования искусственного интеллекта является то, что программный алгоритм сможет самостоятельно дообучаться, что со временем повысит качество сурдоперевода.



Срочное оповещение об атаках на Ростов и Ростовскую области публикуем в нашем телеграм канале


Оцените статью:
нравится0
не нравится0
00
Сообщить об ошибке!
Поделиться с друзьями:

Добавить «Privet-Rostov.ru» в список ваших источников:
У Вас есть интересная новость, фото или видео? Стали очевидцем происшествия? Звоните:
8 800 201 53 75 (Звонок по России бесплатный), Пишите: [email protected]
Новости партнеров
Последние новости
Privet-Rostov.ru » Город » Студент ДГТУ разрабатывает приложение для общения с глухонемыми людьми