Создана программа позволяющая удалять изображение человека из видео (видео)

Обработка видеофайлов рядовыми пользователями становится более доступной с широкими возможностями, благодаря приложению, созданному веб-дизайнером Google Джейсоном Майесом. Используя алгоритм предложенный инженером можно удалять из видеофайлов изображение человека, даже если он движется. Программа сохраняет в памяти общий фон находящийся в кадре и когда на изображении появляется человек, алгоритм «вырезает» его силуэт и заменяет картинку сохраненным в памяти фоновым рисунком.

В качестве основы для программы использована система машинного обучения TensorFlow.js. Каждый пользователь сможет попробовать возможности приложения непосредственно из браузера в режиме реального времени с использованием веб-камеры. Для этого следует выполнить два условия: активировать поддержку jаvascript и зайти на сайты Glitch.com или Codepen.io. Приложение с открытым исходным кодом доступно для скачивания и усовершенствования разработчиками, при условии сообщении об этом Джейсону Майесу.


В настоящее время приложение еще не достигло идеального результата при удалении движущихся предметов или человека с видеофайлов - периодически на изображении появляются остаточные артефакты. Однако сам принцип алгоритма использует новаторские идеи и позволяет работать с видео в режиме реального времени, тогда как существующие аналогичные программы не имеют такой возможности. Кроме того, программа Майеса позволяет обрабатывать достаточно сложные фоновые изображения, что также недоступно в существующих приложениях.

После размещения приложения в открытом доступе, многие пользователи выказали свои пожелания и рекомендации по усовершенствованию программы в Twitter специалиста. При этом были указаны неожиданные варианты практического использования программы. Есть предложения по редактированию неудавшихся видео, использовании программы при съемке фильмов про ограбление банков невидимками или про вампиров, невидимых в зеркале.