Технология нейросети LIIF позволит непрерывно увеличивать качество изображения (видео)

Кадры кинофильмов, в которых криминалисты используют размытые снимки камер видеонаблюдения для создания четкого фотопортрета преступника, не всегда соответствуют реальности. Однако появление новой технологии с функцией объемной реконструкции локального скрытого изображения (LIIF), предоставит специалистам возможность бесконечного увеличения качества цифровых фотографий.

Технология разработана совместно учеными из Калифорнийского университета в Сан-Диего и инженерами NVIDIA и показывает все преимущества нового подхода, позволяющего трансформировать дискретное пиксельное изображение в непрерывный рисунок и при этом работать с различными масштабами фотографии. Именно переменное масштабирование преобразованного изображения, без ограничения по разрешению и отличает функцию LIIF от уже существующих методик повышающих разрешение с помощью интерполяции при фиксированном масштабе.

Процесс трансформации растрового пиксельного изображения в непрерывную картинку с произвольным разрешением осуществляется путем анализа отдельных фрагментов фотографии, а не изображения в целом, как это осуществляется сейчас. Во время демонстрации возможностей LIIF разработчики показали сгенерированное функцией изображение увеличивающее разрешение с 32 × 32 до 640 × 640. Результаты работы представлены в демонстрационном видео.


Обучение искусственного интеллекта осуществляется на базе данных DIV2K, предназначенном для работы с алгоритмами, реализующими повышение разрешения. В DIV2K имеется тысяча фото в разрешении 2К и их модификация с разрешением в 2; 3 и 4 раза меньшим. Получив изображение с низким разрешением, нейросеть «учится» повышать качество максимально соответствующее исходной фотографии.