NVIDIA активно экспериментирует в области глубинного обучения, и результаты её работы порой оказываются довольно любопытными. Компания на GDC 2019 объявила о создании GauGAN — интеллектуального приложения для рисования, которое использует модель глубинного обучения для создания фотореалистичных версий простых рисунков. Название приложения отсылает нас к имени французского художника-постимпрессиониста Поля Гогена (Paul Gauguin) и используемых в ПО генерирующих состязательных сетей (GAN) для создания изображений, реалистично имитирующих картины.
Как же работает GauGAN? Согласно объяснению компании, приложение похоже на «умную кисть», которая заполняет детали наброска, сделанного пользователем (NVIDIA называет его «картой сегментации»). По сути, пользователь или художник лишь задаёт план того, что хочет увидеть в итоге, и маркирует каждый сегмент, указывая, каким он должен быть. После этого в дело вступает GauGAN, заполняя дополнительные детали и делая рисунки более реалистичными.
Обучаясь на миллионах художественных изображений, модель глубинного обучения затем заполняет ландшафт впечатляющими (впрочем, далеко не всегда идеальными) результатами. Если нарисовать пруд, то близлежащие элементы вроде деревьев и камней отразятся в воде. Достаточно изменить метку сегмента с «травы» на «снег», и всё изображение изменится, превратившись в зимнее, а покрытые листвой деревья станут голыми. Чтобы понять, о чём идёт речь, можно ознакомиться с приведённым роликом.
Стоит также отметить, что, хотя GauGAN использует обширные знания, основанные на массе других изображений, для создания финальных работ, последние по-прежнему считаются оригинальными, поскольку приложение генерирует полностью новые результирующие изображения.
Новый интеллектуальный графический редактор NVIDIA не ограничивается лишь природными сценами или пейзажами — приложение может добавлять здания, дороги и даже людей. GauGAN также позволяет пользователям применять фильтры, стилизуя результат под нужный им стиль. Такие фильтры, среди прочего, способны имитировать стиль конкретного художника (например, Ван Гога) или настраивать освещение сцены, меняя изображения от дневного до ночного.
Неясно, будет ли GauGAN когда-либо выпущена для повседневного потребительского применения, но, думается, рано или поздно обычные пользователи вполне могут получить подобные довольно полезные инструменты, упрощающие работу в самых разных направлениях: от архитектуры и иллюстрирования до разработки игр.
Впрочем, на ресурсе NVIDIA AI Playground желающие могут ознакомиться с некоторыми возможностями машинного обучения. Например, в присутствующей там демонстрации Artistic Style Transfer можно любую фотографию обработать в стиле известных художников.
Среди других подобных экспериментов NVIDIA можно вспомнить исследование, показывающее, как созданные с помощью ИИ визуальные эффекты можно комбинировать с традиционным конвейером растеризации. В результате получается гибридная графическая система, которую можно было бы использовать в играх, фильмах и виртуальной реальности. Другой аналогичный пример — алгоритм превращения заваленных снегом улиц в летние, разработанный специалистами компании для более эффективного обучения автопилота.
