• POCO X8s: компактный смартфон с высокой производительностью

    11 ноября - старт продаж на AliExpress, OZON, «Яндекс Маркет» и Wildberries. Первые 100 первых покупателей на AliExpress получат подарок от Xiaomi.
    Читать дальше
  • FridgePower - пауэрбанк для холодильников (3 фото)

    Отключение электричества может обернуться испорченными продуктами, особенно если дома никого нет. Для решения этой проблемы компания Bluetti разработала портативный аккумулятор FridgePower, который сам переключает холодильник на резервное питание и даже заранее заряжается перед приближением грозы.
    Читать дальше
  • Huawei представила насквозь китайский ПК — от процессора до блока питания и ОС (2 фото)

    Huawei представила свой первый настольный компьютер под управлением HarmonyOS — Qingyun HM650 для корпоративных и государственных заказчиков. По заявлению компании, это первый в отрасли настольный ПК, получивший сертификат, подтверждающий использование исключительно китайских компонентов.
    Читать дальше
  • Моддер семь лет делал компьютерный корпус мечты (9 фото)

    Энтузиаст под ником mithiral67 потратил почти семь лет на создание идеального компьютерного корпуса. Его главная особенность — отсутствие видимых кабелей и вентиляционных отверстий. Почти всю начинку удалось спрятать, а часть системы охлаждения — и вовсе вынести за пределы комнаты.
    Читать дальше
  • iFixit раскрыла секрет светящегося яблока на новом MacBook Pro (2 фото + видео)

    Специалисты iFixit разобрали 14-дюймовый MacBook Pro с сенсорным дисплеем PROLED XDR и выяснили, как Apple удалось заново реализовать одну из самых узнаваемых особенностей своих лэптопов прошлых лет. Речь о светящемся логотипе на крышке, от которого компания отказалась ещё в 2015 году.
    Читать дальше

Китайцы представили нейросеть EMO — она оживляет портреты, заставляя их разговаривать и даже петь (видео)

1 марта 2024 | Просмотров: 18 223 | Новости IT

Исследователи из Института интеллектуальных вычислений Alibaba разработали (PDF) систему искусственного интеллекта EMO (Emote Portrait Alive), которая анимирует статическое изображение человека, заставляя его реалистично говорить или петь.

Система изображает реалистичную мимику и движения головы, точно соответствующие эмоциональным оттенкам звукового ряда, на основе которого генерируется анимация. «Традиционные методы зачастую неспособны передать полный спектр человеческих выражений лица и уникальность отдельных его стилей. Для решения этих проблемы мы предлагаем EMO — новый фреймворк, использующий подход прямого синтеза из аудио в видео, минуя потребность в промежуточных 3D-моделях или лицевых опорных точках», — пояснил глава группы разработчиков Линьжуй Тянь (Linrui Tian).


В основе системы EMO лежит диффузионная модель ИИ, зарекомендовавшая себя как способная генерировать реалистичные изображения. Исследователи обучили её на массиве данных, включающем более 250 часов видеозаписей «говорящей головы»: выступлений, фрагментов фильмов, телешоу и вокальных выступлений. В отличие от предыдущих методов, предполагающих создание трёхмерной модели или механизмов имитации человеческой мимики, EMO предполагает прямое преобразование звука в видеоряд. Это позволяет системе передавать мельчайшие движения и связанные с естественной речью особенности личности.

Авторы проекта утверждают, что EMO превосходит существующие методы по показателям качества видео, сохранения идентичности и выразительности. Исследователи опросили фокус-группу, и та показала, что созданные EMO видеоролики более естественны и эмоциональны, чем произведения других систем. Система создаёт анимацию не только на основе речи, но и с использованием звукового ряда с вокалом — она учитывает форму рта человека на оригинальном изображении, добавляет соответствующую мимику и синхронизирует движения с вокальной партией. Единственной связанной с EMO проблемой является вероятность злоупотребления этой технологией. Исследователи сообщают, что планируют изучить методы выявления созданных ИИ видеороликов.

Комментарии: 0

В Вашем браузере отключен JavaScript. Для корректной работы сайта настоятельно рекомендуется его включить.