Нейросеть способна «оживить» изображение по одной фотографии (3 фото)

Ученые из Университета Вашингтона создали нейросеть, которая способна по одной фотографии создавать частичное видео, принуждая «двигаться» отдельные области статичного изображения.

Новая методика использует технологию глубокого машинного обучения и способна привести в движение любые условно подвижные объекты на фотографии. В первую очередь такими объектами выступают вода, дым, туман или облака. После преобразования фрагмента фотоизображения в короткое видео алгоритм зацикливает динамическое движение, в результате чего получается картинка практически неотличимая от реальности.


В основе методики лежит технология машинного обучения, что делает алгоритм достаточно сложным. Для повышения реалистичности созданного видеофрагмента задача разбита на две составляющие: первая часть посвящена прогнозированию нейронной сетью будущего движения объектов, а вторая часть направлена на создание видеообраза из прошлого. В результате, имея всего одну статическую фотографию, ученые смогли создать короткое видео пейзажа.


При обучении нейронной сети были использованы реальные видео, на основе которых алгоритм и прогнозирует предполагаемое движение отдельных областей фотографии. Официальная презентация технологии пройдет 22 июня на Конференции по компьютерному зрению и распознаванию образов.