• В Китае установили мировой рекорд дальности передачи данных по оптоволокну с полой сердцевиной (2 фото)

    Когда исчерпаны все аппаратные возможности для повышения скорости передачи данных и снижения задержек в ход идут скрытые резервы. Таким резервом стало полое оптоволокно, в заполненной газом сердцевине которого свет распространяется со скоростью, близкой к скорости света в вакууме, что на треть быстрее, чем в стекле.
    Читать дальше
  • Boston Dynamics приделала человекоподобному роботу Atlas колёса — не для развлечения, а чтобы жизнь мёдом не казалась

    Boston Dynamics оригинально решила вопрос максимального повышения нагрузки на все электроприводы человекоподобного робота Atlas — она заменила обе ступни на его ногах на колёса. Если вы когда-нибудь впервые становились на роликовые коньки, то поймёте, в какую историю тот влип.
    Читать дальше
  • Дыра в iOS позволила приложениям подглядывать за чужими файлами — под угрозой ключи криптокошельков

    В операционной системе Apple iOS обнаружена уязвимость, позволяющая вредоносным приложениям читать файлы других программ. Из-за этого под угрозой могут оказаться ключи криптовалютных кошельков, фразы восстановления доступа и учетные данные пользователей. О проблеме предупредила криптобиржа Binance.
    Читать дальше
  • Минцифры объяснило, для чего может забрать каждый десятый сервер российских дата-центров

    Резерв в размере 10 % площадей и мощностей дата-центров, созданный во исполнение указа президента РФ от 02.11.2026 № 802 предполагается использовать для информационных систем из «белого списка», сообщили «Ведомости» со ссылкой на заявление главы Минцифры Максута Шадаева на совещании с операторами.
    Читать дальше
  • «Яндекс» признался, что безвозвратно потерял меньше 3 % данных клиентов Yandex Cloud

    «Яндекс» сообщил, что восстановил доступ к 97,16 % клиентских данных в Yandex Cloud. При этом остальные 2,84 % данных «восстановить невозможно из-за критических повреждений оборудования и отсутствия у клиентов бэкапов на платформе», сообщила компания во вторник. У клиентов, которые использовали инструменты резервного копирования Yandex Cl...
    Читать дальше

Китайцы представили нейросеть EMO — она оживляет портреты, заставляя их разговаривать и даже петь (видео)

1 марта 2024 | Просмотров: 18 238 | Новости IT

Исследователи из Института интеллектуальных вычислений Alibaba разработали (PDF) систему искусственного интеллекта EMO (Emote Portrait Alive), которая анимирует статическое изображение человека, заставляя его реалистично говорить или петь.

Система изображает реалистичную мимику и движения головы, точно соответствующие эмоциональным оттенкам звукового ряда, на основе которого генерируется анимация. «Традиционные методы зачастую неспособны передать полный спектр человеческих выражений лица и уникальность отдельных его стилей. Для решения этих проблемы мы предлагаем EMO — новый фреймворк, использующий подход прямого синтеза из аудио в видео, минуя потребность в промежуточных 3D-моделях или лицевых опорных точках», — пояснил глава группы разработчиков Линьжуй Тянь (Linrui Tian).


В основе системы EMO лежит диффузионная модель ИИ, зарекомендовавшая себя как способная генерировать реалистичные изображения. Исследователи обучили её на массиве данных, включающем более 250 часов видеозаписей «говорящей головы»: выступлений, фрагментов фильмов, телешоу и вокальных выступлений. В отличие от предыдущих методов, предполагающих создание трёхмерной модели или механизмов имитации человеческой мимики, EMO предполагает прямое преобразование звука в видеоряд. Это позволяет системе передавать мельчайшие движения и связанные с естественной речью особенности личности.

Авторы проекта утверждают, что EMO превосходит существующие методы по показателям качества видео, сохранения идентичности и выразительности. Исследователи опросили фокус-группу, и та показала, что созданные EMO видеоролики более естественны и эмоциональны, чем произведения других систем. Система создаёт анимацию не только на основе речи, но и с использованием звукового ряда с вокалом — она учитывает форму рта человека на оригинальном изображении, добавляет соответствующую мимику и синхронизирует движения с вокальной партией. Единственной связанной с EMO проблемой является вероятность злоупотребления этой технологией. Исследователи сообщают, что планируют изучить методы выявления созданных ИИ видеороликов.

Комментарии: 0

В Вашем браузере отключен JavaScript. Для корректной работы сайта настоятельно рекомендуется его включить.