• Складной iPhone Fold будет дешевле, чем ожидалось — Apple нашла способ сэкономить

    Согласно прогнозам аналитиков, Apple выпустит свой первый складной смартфон с предварительным названием iPhone Fold во второй половине 2026 года. Ожидается, что это будет самый дорогой iPhone в истории компании, но, как утверждает авторитетный аналитик Мин-Чи Куо, его стоимость будет немного ниже, чем предполагалось ранее, благодаря зн...
    Читать дальше
  • В США появилась школа с ИИ вместо учителей

    В частной школе Alpha в Остине, штат Техас, дети учатся без учителей в привычном смысле, поскольку занятия ведёт искусственный интеллект. Новый эксперимент уже вызвал интерес Министерства образования США.
    Читать дальше
  • Запрет установки Windows 11 с локальным аккаунтом не сработал — пользователи нашли новые обходные пути (3 фото)

    Компания Microsoft продолжает бороться с обходными путями, с помощью которых пользователи могут создать локальную учётную запись в Windows 11 и установить операционную систему без подключения к интернету. В новых бета-версиях ОС разработчики заблокировали один из таких способов.
    Читать дальше
  • Google Pixel 10 Pro Fold сгорел во время испытаний на прочность (видео)

    Ожидалось, что смартфон Google Pixel 10 Pro Fold станет новой вехой в развитии складных устройств: первый в истории смартфон с полной защитой от пыли по стандарту IP68, обновлённый дизайн шарнирного механизма и более ёмкая батарея с поддержкой технологии зарядки Qi2. Однако недавний тест Pixel 10 Pro Fold на прочность, проведённый YouT...
    Читать дальше
  • Valve запустила массовое производство VR-гарнитуры Steam Frame — анонс ожидается до конца года

    Компания Valve приступила к массовому производству гарнитуры виртуальной реальности Valve Index 2, которая, по утверждению аналитиков, будет выпущена на рынок в текущем году. Старт продаж запланирован на праздничный сезон, а ориентировочный годовой объём производства составит от 400 000 до 600 000 единиц.
    Читать дальше

Китайцы представили нейросеть EMO — она оживляет портреты, заставляя их разговаривать и даже петь (видео)

1 марта 2024 | Просмотров: 16 178 | Новости IT

Исследователи из Института интеллектуальных вычислений Alibaba разработали (PDF) систему искусственного интеллекта EMO (Emote Portrait Alive), которая анимирует статическое изображение человека, заставляя его реалистично говорить или петь.

Система изображает реалистичную мимику и движения головы, точно соответствующие эмоциональным оттенкам звукового ряда, на основе которого генерируется анимация. «Традиционные методы зачастую неспособны передать полный спектр человеческих выражений лица и уникальность отдельных его стилей. Для решения этих проблемы мы предлагаем EMO — новый фреймворк, использующий подход прямого синтеза из аудио в видео, минуя потребность в промежуточных 3D-моделях или лицевых опорных точках», — пояснил глава группы разработчиков Линьжуй Тянь (Linrui Tian).


В основе системы EMO лежит диффузионная модель ИИ, зарекомендовавшая себя как способная генерировать реалистичные изображения. Исследователи обучили её на массиве данных, включающем более 250 часов видеозаписей «говорящей головы»: выступлений, фрагментов фильмов, телешоу и вокальных выступлений. В отличие от предыдущих методов, предполагающих создание трёхмерной модели или механизмов имитации человеческой мимики, EMO предполагает прямое преобразование звука в видеоряд. Это позволяет системе передавать мельчайшие движения и связанные с естественной речью особенности личности.

Авторы проекта утверждают, что EMO превосходит существующие методы по показателям качества видео, сохранения идентичности и выразительности. Исследователи опросили фокус-группу, и та показала, что созданные EMO видеоролики более естественны и эмоциональны, чем произведения других систем. Система создаёт анимацию не только на основе речи, но и с использованием звукового ряда с вокалом — она учитывает форму рта человека на оригинальном изображении, добавляет соответствующую мимику и синхронизирует движения с вокальной партией. Единственной связанной с EMO проблемой является вероятность злоупотребления этой технологией. Исследователи сообщают, что планируют изучить методы выявления созданных ИИ видеороликов.


Комментарии: 0

В Вашем браузере отключен JavaScript. Для корректной работы сайта настоятельно рекомендуется его включить.