Исследователи из NVIDIA во главе с Гуйлинь Лю представили современный метод глубокого обучения, который может редактировать изображения или восстанавливать поврежденные пиксели. Этот метод также можно использовать для редактирования изображений путем удаления содержимого и заполнения полученных пустот.
Вот вам видео, чтобы понять нагляднее:
Метод, который выполняет процесс под названием «рисование изображений», может быть реализован в программном обеспечении для удаления нежелательного контента, при этом он заполняется реалистичной альтернативой, генерируемой компьютером.
Наша модель может эффективно обрабатывать отверстия любой формы, размера или расстояния от границ изображения. Предыдущие работы с машинным обучением были сосредоточены на прямоугольных областях, расположенных вокруг центра изображения, и часто полагаются на дорогостоящую пост-обработку.
Чтобы подготовиться к обучению своей нейронной сети, команда сначала создала 55 116 масок случайных полос и отверстий произвольных форм и размеров для обучения. Они были разделены на 6 категорий, чтобы улучшить точность восстановления.
Используя графические процессоры NVIDIA Tesla V100 и мощную систему обучения PyTorch, ускоренную cuDNN, команда обучила свою нейронную сеть, применяя созданные маски к изображениям из наборов данных ImageNet, Places2 и CelebA-HQ.
Исследователи заявили, что существующие методы обучения изображений, основанные на глубоком обучении, страдают из-за того, что выходы для отсутствующих пикселей обязательно зависят от значения ввода, которое должно быть подано в нейронную сеть для этих самых отсутствующих пикселей. Это приводит к таким артефактам, как цветовое несоответствие и размытость изображений. Чтобы исправить эту проблему, команда NVIDIA разработала метод, который гарантирует, что выход для отсутствующих пикселей не зависит от входного значения, заданного для этих пикселей.
Подробнее свою нейросеть ребята из NVIDIA представят на конференции ICLR-2018 в Ванкувере.
Читайте также:
Нейросеть научилась подделывать видео
