Нейросеть теперь не хуже актеров умеет озвучивать видео
Монтировать уже снятое видео задача не из простых. Из-за одной некорректной реплики иногда приходится снимать все повторно или придумывать режиссерский ход. Однако ученые предложили решение этой проблемы. Монтажные функции по части неудачных дублей они переложили на искусственный интеллект. Его научили проговаривать необходимые фразы от лица актера так, чтобы зрители ничего не заметили.
Команда из Стэнфордского университета разработала любопытный алгоритм, редактирующий звуковую дорожку при помощи элементарного текстового ввода. Приложение использует механизм, расшифровывающий речевые движения из разных кусков записанного ранее ролика. Они преобразуются в отредактированный материал с дорисовкой подходящих движений губ дикторов и актеров.
Для получения законченного видео просто добавляются новые слова, удаляются старые или вообще переставляются целые реплики. В итоге сюжет кажется неподготовленному зрителю абсолютно естественным.
Если актер ошибся в произнесении заготовленного текста, то отредактировать материал будет просто: достаточно ввести корректировку прямо с клавиатуры. Технология машинного обучения Neural Rendering соберет корректный вариант из разных слов или их частей, сказанных в прочих отрезках записи. В настоящий момент для обучения искусственного интеллекта потребуется исходное видео длиной не меньше 40 минут.
Доктор наук Стэнфордского университета Охад Фрид высказал сожаление о том, что подобные разработки будут нравиться преимущественно плохим актерам. Однако, по его мнению, над технологией стоит работать. Ведь она будет иметь немало практических приложений в области создания и редактирования видео и прочего контента.
Как заверяют разработчики, их методика редактирования видео – отличное подспорье для продюсеров и редакторов. Но ее же можно использовать и для производства фейковых роликов. Эксперты полагают, что применение подобного инструмента должно быть регламентировано. Например, можно оповещать зрителей об обработке видео при помощи нейросети.
Источник: futurity