• OpenAI и ModRetro выпустили ретроконсоль для ИИ-игр (3 фото)

    OpenAI и ModRetro представили Chromatic: Codex Edition — специальную версию портативной консоли. Её главная особенность — возможность запускать собственные игры, созданные с помощью ИИ-агента Codex. В комплект входит перезаписываемый картридж, на который можно загружать свои проекты.
    Читать дальше
  • По российским сайтам прокатилась новая волна отзывов сертификатов от GlobalSign

    Японский удостоверяющий центр GlobalSign инициировал новую волну отзыва сертификатов у российских сайтов. К настоящему моменту уже отозваны 11 тыс. сертификатов, принадлежавших 1,3 тыс. организаций.
    Читать дальше
  • SpaceX представила спутниковую тарелку Starlink Mini 2 со съёмной батареей за $999

    Компания SpaceX представила новую версию универсального терминала для подключения к спутниковому интернету Starlink. Устройство размером с ноутбук объединило в себе антенну, роутер Wi-Fi и аккумуляторную батарею. Уже сейчас Starlink Mini 2 доступен для предзаказа по цене $999, которая включает в себя годовую подписку по тарифу Roam Unlimi...
    Читать дальше
  • ПК по цене однушки в Москве: HP выпустила рабочую станцию ZGX Fury с 748 Гбайт памяти по цене от $132 000 (2 фото)

    HP начала продажи рабочей станции ZGX Fury G1n AI Station в США. Система построена на платформе Nvidia GB300 Grace Blackwell Ultra Superchip и оснащена 496 Гбайт оперативной памяти стандарта LPDDR5X. Предусмотрены также 252 Гбайт видеопамяти HBM3e, то есть общий объём составляет 748 Гбайт.
    Читать дальше
  • Google научила роботов работать руками — новая модель Gemini Robotics 2.5 справилась с задачами на заводе Mercedes-Benz

    Google официально анонсировала модель искусственного интеллекта Gemini Robotics 2.5. Она относится к классу VLA («зрение — язык — действие»), помогает роботам быстрее осваивать широкий спектр навыков и делать это быстрее. Роботы становятся более ловкими, надёжными и безопасными — они получают возможность работать не только в лабораториях,...
    Читать дальше

Китайцы представили нейросеть EMO — она оживляет портреты, заставляя их разговаривать и даже петь (видео)

1 марта 2024 | Просмотров: 18 243 | Новости IT

Исследователи из Института интеллектуальных вычислений Alibaba разработали (PDF) систему искусственного интеллекта EMO (Emote Portrait Alive), которая анимирует статическое изображение человека, заставляя его реалистично говорить или петь.

Система изображает реалистичную мимику и движения головы, точно соответствующие эмоциональным оттенкам звукового ряда, на основе которого генерируется анимация. «Традиционные методы зачастую неспособны передать полный спектр человеческих выражений лица и уникальность отдельных его стилей. Для решения этих проблемы мы предлагаем EMO — новый фреймворк, использующий подход прямого синтеза из аудио в видео, минуя потребность в промежуточных 3D-моделях или лицевых опорных точках», — пояснил глава группы разработчиков Линьжуй Тянь (Linrui Tian).


В основе системы EMO лежит диффузионная модель ИИ, зарекомендовавшая себя как способная генерировать реалистичные изображения. Исследователи обучили её на массиве данных, включающем более 250 часов видеозаписей «говорящей головы»: выступлений, фрагментов фильмов, телешоу и вокальных выступлений. В отличие от предыдущих методов, предполагающих создание трёхмерной модели или механизмов имитации человеческой мимики, EMO предполагает прямое преобразование звука в видеоряд. Это позволяет системе передавать мельчайшие движения и связанные с естественной речью особенности личности.

Авторы проекта утверждают, что EMO превосходит существующие методы по показателям качества видео, сохранения идентичности и выразительности. Исследователи опросили фокус-группу, и та показала, что созданные EMO видеоролики более естественны и эмоциональны, чем произведения других систем. Система создаёт анимацию не только на основе речи, но и с использованием звукового ряда с вокалом — она учитывает форму рта человека на оригинальном изображении, добавляет соответствующую мимику и синхронизирует движения с вокальной партией. Единственной связанной с EMO проблемой является вероятность злоупотребления этой технологией. Исследователи сообщают, что планируют изучить методы выявления созданных ИИ видеороликов.

Комментарии: 0

В Вашем браузере отключен JavaScript. Для корректной работы сайта настоятельно рекомендуется его включить.