• Эра синтетических звёзд началась: ИИ-актриса Тилли Норвуд уже получает роли и набирает популярность (видео)

    Возможности современных систем генеративного искусственного интеллекта не ограничиваются созданием реалистичных статичных образов людей и коротких роликов, им вполне по силам создание целых виртуальных актёров. Агентство Xicoia утверждает, что порождённая ИИ актриса Тилли Норвуд стремительно набирает популярность как у зрителей, так и ...
    Читать дальше
  • Энтузиасты объединили двенадцать dial-up модемов для просмотра YouTube без тормозов (видео)

    Четверть века назад вряд ли кто-то думал о широкополосном подключении к интернету. Тогда верхом совершенства была работа по коммутируемому каналу на скорости 56 Кбит/с. При этом оставалась возможность параллельного подключения пары модемов и, теоретически, ещё большего их числа. Сегодня сайты и сервисы «потяжелели» настолько, что 100 М...
    Читать дальше
  • Госдума приняла закон против автоматических списаний за онлайн-подписки

    Госдума приняла во втором и третьем чтениях поправки к закону «О защите прав потребителей», запрещающие онлайн-сервисам автоматически списывать деньги за подписки, передаёт ТАСС. Если закон будет принят, он вступит в силу с 1 марта 2026 года.
    Читать дальше
  • Представлены флагманы Xiaomi 17 Pro и Pro Max — в стиле iPhone 17 Pro, но с большим внешним экраном (11 фото)

    Xiaomi официально представила новые флагманские смартфоны Xiaomi 17 Pro и Xiaomi 17 Pro Max, которые оснащены дополнительным внешним дисплеем на тыльной стороне корпуса. Эта особенность позволит пользователям делать селфи с основной камеры, как в смартфонах с гибким дисплеем. Но этим применение внешних экранов не ограничится. В дополне...
    Читать дальше
  • Власти официально объявили о суверенитете интернета в России

    Россия входит в число трёх стран мира, которые обладают полным цифровым суверенитетом, наряду с США и Китаем. Об этом в рамках выступления на Российском интернет-форуме (РИФ-2025) заявил первый заместитель руководителя администрации президента РФ Сергей Кириенко.
    Читать дальше

Китайцы представили нейросеть EMO — она оживляет портреты, заставляя их разговаривать и даже петь (видео)

1 марта 2024 | Просмотров: 16 133 | Новости IT

Исследователи из Института интеллектуальных вычислений Alibaba разработали (PDF) систему искусственного интеллекта EMO (Emote Portrait Alive), которая анимирует статическое изображение человека, заставляя его реалистично говорить или петь.

Система изображает реалистичную мимику и движения головы, точно соответствующие эмоциональным оттенкам звукового ряда, на основе которого генерируется анимация. «Традиционные методы зачастую неспособны передать полный спектр человеческих выражений лица и уникальность отдельных его стилей. Для решения этих проблемы мы предлагаем EMO — новый фреймворк, использующий подход прямого синтеза из аудио в видео, минуя потребность в промежуточных 3D-моделях или лицевых опорных точках», — пояснил глава группы разработчиков Линьжуй Тянь (Linrui Tian).


В основе системы EMO лежит диффузионная модель ИИ, зарекомендовавшая себя как способная генерировать реалистичные изображения. Исследователи обучили её на массиве данных, включающем более 250 часов видеозаписей «говорящей головы»: выступлений, фрагментов фильмов, телешоу и вокальных выступлений. В отличие от предыдущих методов, предполагающих создание трёхмерной модели или механизмов имитации человеческой мимики, EMO предполагает прямое преобразование звука в видеоряд. Это позволяет системе передавать мельчайшие движения и связанные с естественной речью особенности личности.

Авторы проекта утверждают, что EMO превосходит существующие методы по показателям качества видео, сохранения идентичности и выразительности. Исследователи опросили фокус-группу, и та показала, что созданные EMO видеоролики более естественны и эмоциональны, чем произведения других систем. Система создаёт анимацию не только на основе речи, но и с использованием звукового ряда с вокалом — она учитывает форму рта человека на оригинальном изображении, добавляет соответствующую мимику и синхронизирует движения с вокальной партией. Единственной связанной с EMO проблемой является вероятность злоупотребления этой технологией. Исследователи сообщают, что планируют изучить методы выявления созданных ИИ видеороликов.


Комментарии: 0

В Вашем браузере отключен JavaScript. Для корректной работы сайта настоятельно рекомендуется его включить.