Сенсорная перчатка-переводчик с языка жестов на обыкновенный язык (2 фото + видео)

Использование машинного обучения и искусственного интеллекта поможет в ближайшем будущем интегрировать в общество людей с различными физическими недостатками. Разработчики Калифорнийского университета Лос-Анджелеса (UCLA) создали систему позволяющую устранить коммуникационный барьер между людьми, вынужденно использующими язык жестов, и остальными людьми. Устройство в виде электронной бесконтактной перчатки способно транслировать перевод американского языка жестов на английский язык, практически в режиме реального времени.

Система состоит из пары перчаток с тонкими, гибкими датчиками, способными управлять работой по всей длине каждого из пяти пальцев. Эти датчики, изготовленные из электропроводящих нитей, фиксируют движения рук и положения пальцев, которые обозначают отдельные буквы, цифры, слова и фразы.


Устройство преобразует движения пальцев в электрические сигналы, которые отправляются на управляющую плату размером с долларовую монету, надетую на запястье. Далее эти сигналы по беспроводной связи транслируются на смартфон, который переводит их в слова со скоростью примерно одно слово в секунду. Затем приложение озвучивает переведенную фразу через динамик.

К системе добавлены накладные датчики, крепящиеся на лице пользователя по обе стороны рта и между бровями. Это необходимо для фиксации мимики лица, являющейся частью американской системы языка жестов.


Автономная работа перчатки обеспечивается аккумулятором. В процессе подготовки, после работы с использованием машинного обучения и опыта четырех глухих американцев, алгоритм стал уверенно распознавать 660 знаков, включая буквы и цифры. В дальнейшем, по заявлению инженеров, алгоритм будет активно пополнять свой словарный запас и увеличивать скорость перевода. В настоящее время изобретение находится на этапе регистрации патента.

Источник: ucla