• Астрономы обнаружили потенциально обитаемую планету «недалеко» от Земли (2 фото + видео)

    Астрономы обнаружили новую экзопланету HD 20794 d, классифицированную как суперземля и расположенную в 19,6 светового года от нас. Планета находится в обитаемой зоне своей звезды, что предполагает возможность наличия жидкой воды на её поверхности.
    Читать дальше
  • NASA обнаружило «элементы жизни» в образцах астероида Бенну (2 фото)

    Учёные NASA проанализировали образцы, собранные с астероида Бенну в ходе миссии OSIRIS-REx, и нашли в них органические соединения, играющие важную роль в происхождении жизни. В частности, были обнаружены фундаментальные элементы, необходимые для синтеза белков и формирования ДНК.
    Читать дальше
  • DOOM запустили на HDMI-переходнике Apple (видео)

    Среди энтузиастов со всего мира стало своеобразным состязанием запускать DOOM на любой электронике и не только. Оказывается, поиграть в культовый шутер можно даже на HDMI-переходнике Apple. Таким достижением поделилась девушка-программист под ником Nyan Satan.
    Читать дальше
  • Совершён первый в истории видеозвонок через космос между обычными смартфонами

    Спутниковый провайдер AST SpaceMobile и оператор мобильной связи Vodafone из Великобритании сообщили об успешном выполнении видеозвонка между двумя немодифицированными смартфонами с использованием спутниковой связи. В 2023 году AST осуществила первый в истории звонок между обычными смартфонами через спутник, а также первый такой звонок че...
    Читать дальше
  • Первый отрезок гигантского «лежачего небоскрёба» The Line в Саудовской Аравии построят к 2030 году (3 фото)

    На Всемирном экономическом форуме в Давосе стали известны новые подробности о мегапроекте Neom в Саудовской Аравии. В частности, появилась новая информация о строительстве города The Line («Линия») длиной 170 км и высотой 500 м. На форуме представитель проекта сообщил, что закладка фундамента для первой очереди «лежачего небоскрёба» начнё...
    Читать дальше

Китайцы представили нейросеть EMO — она оживляет портреты, заставляя их разговаривать и даже петь (видео)

1 марта 2024 | Просмотров: 15 638 | Новости IT

Исследователи из Института интеллектуальных вычислений Alibaba разработали (PDF) систему искусственного интеллекта EMO (Emote Portrait Alive), которая анимирует статическое изображение человека, заставляя его реалистично говорить или петь.

Система изображает реалистичную мимику и движения головы, точно соответствующие эмоциональным оттенкам звукового ряда, на основе которого генерируется анимация. «Традиционные методы зачастую неспособны передать полный спектр человеческих выражений лица и уникальность отдельных его стилей. Для решения этих проблемы мы предлагаем EMO — новый фреймворк, использующий подход прямого синтеза из аудио в видео, минуя потребность в промежуточных 3D-моделях или лицевых опорных точках», — пояснил глава группы разработчиков Линьжуй Тянь (Linrui Tian).


В основе системы EMO лежит диффузионная модель ИИ, зарекомендовавшая себя как способная генерировать реалистичные изображения. Исследователи обучили её на массиве данных, включающем более 250 часов видеозаписей «говорящей головы»: выступлений, фрагментов фильмов, телешоу и вокальных выступлений. В отличие от предыдущих методов, предполагающих создание трёхмерной модели или механизмов имитации человеческой мимики, EMO предполагает прямое преобразование звука в видеоряд. Это позволяет системе передавать мельчайшие движения и связанные с естественной речью особенности личности.

Авторы проекта утверждают, что EMO превосходит существующие методы по показателям качества видео, сохранения идентичности и выразительности. Исследователи опросили фокус-группу, и та показала, что созданные EMO видеоролики более естественны и эмоциональны, чем произведения других систем. Система создаёт анимацию не только на основе речи, но и с использованием звукового ряда с вокалом — она учитывает форму рта человека на оригинальном изображении, добавляет соответствующую мимику и синхронизирует движения с вокальной партией. Единственной связанной с EMO проблемой является вероятность злоупотребления этой технологией. Исследователи сообщают, что планируют изучить методы выявления созданных ИИ видеороликов.


Комментарии: 0

В Вашем браузере отключен JavaScript. Для корректной работы сайта настоятельно рекомендуется его включить.