Нейронная сеть превращает фотографии в живопись
Новая технология умеет применять стиль одного изображения к содержанию другого, чего удалось достичь с помощью свёрточных нейронных сетей. Метод основан на глубоком изучении двух различных изображений и последующем слиянии полученных наборов признаков в один.
Разработчики выяснили, что содержание и объекты наиболее точно удаётся описать с помощью крупных слоёв нейронной сети, захватывающих большие участки изображения. Для описания стиля, наоборот, эффективнее использовать данные слоёв, которые описывают локальные участки изображения.
Учёные использовали нейронную сеть VGG-Network, которую обучали сначала на пейзаже немецкого города Тюбинген, а затем на одной из картин, например, «Звёздной ночи» Винсента ван Гога. Технология выбирает набор признаков для распознавания объектов на фотографии, а также для распознавания текстуры и мелких деталей.
Затем с помощью линейной комбинации полученных наборов признаков нейронная сеть синтезирует новое изображение, которое выглядит словно снимок, обработанный в фоторедакторе с применением набора фильтров.
Кроме того, варьируя свёртки разных слоёв нейронной сети, можно тонко настраивать изображение, меняя количество стилевых элементов. В результате можно получить изображение, близкое к оригинальной фотографии, или же наоборот — с максимально выраженной текстурой, в которой различить «исходник» будет непростой задачей.