Новости

Google создал нейросеть, которая воссоздает видео всего по двум кадрам

Подразделение Google, которое работает с искусственным интеллектом, создало новый алгоритм, способный «дорисовать» видеоряд на основе его первого и последнего кадров.

Нейросеть состоит из трёх компонентов:

  • декодер двумерного изображения – он конвертирует входные данные в специальный формат для анализа,
  • генератор скрытого трёхмерного представления – он обучается на основе полученной информации,
  • видеогенератор – он декодирует полученную информацию в новые кадры будущего видео.

Чтобы проверить работу технологии, разработчики сжали три набора кадров до разрешения 64×64 пикселя. Каждый образец содержал в общей сложности 16 кадров, 14 из которых предстояло создать искусственному интеллекту. Исследователи запускали алгоритм 100 раз для каждой пары исходных изображений, при этом обучение ИИ заняло около 5 дней с использованием видеокарты NVIDIA Tesla V100. В результате сгенерированные последовательности соответствовали заданным начальным и конечным кадрам и были похожи по стилю.

Кадры сгенерированные искусственным интеллектом

Разработчики считают, что алгоритм может стать полезным инструментом для генерации видео на основе минимального набора вводной информации.

Источник
4PDA
Тэги

Читай еще