• Путин подписал закон о штрафах за поиск экстремистского контента, передачу аккаунтов и рекламу VPN

    Владимир Путин подписал закон, который предусматривает введение штрафов за преднамеренный поиск экстремистских материалов в интернете. Кроме того, подписаны нормы, которые будут квалифицировать применения VPN при совершении преступлений как отягчающего обстоятельства. Наконец, подписан закон, запрещающий рекламу VPN-сервисов.
    Читать дальше
  • Астрономы обнаружили потенциально обитаемую планету «недалеко» от Земли (2 фото + видео)

    Астрономы обнаружили новую экзопланету HD 20794 d, классифицированную как суперземля и расположенную в 19,6 светового года от нас. Планета находится в обитаемой зоне своей звезды, что предполагает возможность наличия жидкой воды на её поверхности.
    Читать дальше
  • Летающий байк Volonaut на реактивной тяге показали в деле (2 фото + видео)

    Ещё в мае этого года видео с летающим на небесном байке штурмовиком стало вирусным. Оно разделило зрителей на скептиков и энтузиастов: первые говорили о «мультике» нейросети, а вторые сразу влюбились в проект. Сегодня появились кадры реальных испытаний воздушного байка Volonaut с настоящим звуковым сопровождением — без бравурной музыки...
    Читать дальше
  • Макеты всех версий iPhone 17 показались на фото в новых цветах (4 фото)

    Инсайдеры продолжают раскрывать подробности о предстоящей линейке iPhone 17, и на этот раз в Сеть попали изображения макетов всех моделей в полной цветовой гамме. Фотографии, опубликованные пользователем Сонни Диксоном, известным своими достоверными утечками о новинках Apple, демонстрируют варианты расцветок для iPhone 17, iPhone 17 Ai...
    Читать дальше
  • NASA обнаружило «элементы жизни» в образцах астероида Бенну (2 фото)

    Учёные NASA проанализировали образцы, собранные с астероида Бенну в ходе миссии OSIRIS-REx, и нашли в них органические соединения, играющие важную роль в происхождении жизни. В частности, были обнаружены фундаментальные элементы, необходимые для синтеза белков и формирования ДНК.
    Читать дальше

Китайцы представили нейросеть EMO — она оживляет портреты, заставляя их разговаривать и даже петь (видео)

1 марта 2024 | Просмотров: 15 980 | Новости IT

Исследователи из Института интеллектуальных вычислений Alibaba разработали (PDF) систему искусственного интеллекта EMO (Emote Portrait Alive), которая анимирует статическое изображение человека, заставляя его реалистично говорить или петь.

Система изображает реалистичную мимику и движения головы, точно соответствующие эмоциональным оттенкам звукового ряда, на основе которого генерируется анимация. «Традиционные методы зачастую неспособны передать полный спектр человеческих выражений лица и уникальность отдельных его стилей. Для решения этих проблемы мы предлагаем EMO — новый фреймворк, использующий подход прямого синтеза из аудио в видео, минуя потребность в промежуточных 3D-моделях или лицевых опорных точках», — пояснил глава группы разработчиков Линьжуй Тянь (Linrui Tian).


В основе системы EMO лежит диффузионная модель ИИ, зарекомендовавшая себя как способная генерировать реалистичные изображения. Исследователи обучили её на массиве данных, включающем более 250 часов видеозаписей «говорящей головы»: выступлений, фрагментов фильмов, телешоу и вокальных выступлений. В отличие от предыдущих методов, предполагающих создание трёхмерной модели или механизмов имитации человеческой мимики, EMO предполагает прямое преобразование звука в видеоряд. Это позволяет системе передавать мельчайшие движения и связанные с естественной речью особенности личности.

Авторы проекта утверждают, что EMO превосходит существующие методы по показателям качества видео, сохранения идентичности и выразительности. Исследователи опросили фокус-группу, и та показала, что созданные EMO видеоролики более естественны и эмоциональны, чем произведения других систем. Система создаёт анимацию не только на основе речи, но и с использованием звукового ряда с вокалом — она учитывает форму рта человека на оригинальном изображении, добавляет соответствующую мимику и синхронизирует движения с вокальной партией. Единственной связанной с EMO проблемой является вероятность злоупотребления этой технологией. Исследователи сообщают, что планируют изучить методы выявления созданных ИИ видеороликов.


Комментарии: 0

В Вашем браузере отключен JavaScript. Для корректной работы сайта настоятельно рекомендуется его включить.