AR-очки научились отслеживать выражение лица и движение глаз без камер

Сотрудники Корнелльского университета разработали технологии GazeTrak и EyeEcho, способные произвести технологический скачок в сегменте гарнитур дополненной реальности. Обе разработки помогут снизить энергопотребление гаджетов и умеют фиксировать выражение лица и движение глаз владельца без использования камер.

Разработанные технологии позволяют одновременно отслеживать движения глаз и сканировать выражение лица пользователя очков с помощью гидролокаторов. Обычно для такой работы используются камеры, из-за чего система потребляет больше электроэнергии и снижает автономность AR-гарнитур. Гидролокаторы позволяют решить эту проблему.

Система GazeTrak задействует один динамик и четыре микрофона на каждой оправе. Динамики излучают импульсные звуковые волны, незаметные для слуха, а специальное программное обеспечение на основе ИИ постоянно отслеживает направление взгляда пользователя. В это же время технология EyeEcho излучает и улавливает звуковые волны с помощью одного динамика и одного микрофона, расположенных рядом с шарнирами очков. Программное обеспечение сопоставляет различия во времени отклика звуковых волн с движениями кожи и мышц, позволяя отслеживать конкретные изменения на лице.

Даже после четырёх минут тестового режима с анализом выражения лиц каждого из двенадцати испытуемых система научилась точно считывать выражения лиц во время работы. Данные решения позволят производителям AR-гарнитур полностью отказаться от использования камер в собственных разработках, снизив их стоимость и энергопотребление.