Умное ожерелье SpeeChin распознает безмолвные команды пользователя (видео)

Использование голосовых команд в общении с умными гаджетами стало неотъемлемым способом коммуникации современного человека. Однако некоторые жизненные ситуации делают невозможным управление устройствами при помощи голоса (в толпе, во время ответственных мероприятий, в библиотеке). Решить такую задачу поможет умное ожерелье SpeeChin, предназначенное для распознавания тихой речи (SSR) и идентификации беззвучных команд методом анализа деформации кожи на подбородке, шее и лице, отснятой инфракрасной (ИК) камерой, размещенной на шее.

Создатель гаджета профессор Ченг Чжан из Корнельского университета в 2021 году уже демонстрировал смарт-ожерелье NeckFace, способное распознавать и анализировать мимику пользователя. Новое устройство SpeeChin устраняет многочисленные недостатки прошлогоднего изобретения и позволяет, не наблюдая за лицом и губами владельца, анализировать движение подбородка и шеи для получения беззвучных команд.

Оснащенный ИК камерой прибор SpeeChin изготовлен на 3D принтере и внешне похож на NeckFace. Носится прибор на серебряной цепочке, а камера направлена вверх на подбородок и видимую от шеи часть лица. Устойчивость прибору обеспечивает противовес в виде обыкновенной монеты с импровизированными «крыльями» по бокам. Анализ беззвучных команд осуществляется на основе алгоритма машинного обучения.


Устройство испытано на 20 добровольцах, 10 из которых говорят на английском языке, а 10 - на китайском. На английском языке было произнесено по 54 команды, а на китайском - 44 простых фразы. Для первой группы точность распознавания составила 90,5%, а для второй - 91,6%. Однако при попытке анализа беззвучных команд во время движения пользователей процент распознавания резко упал, что разработчики объяснили различным стилем ходьбы людей.

Источник: cornell