Нейросеть делает 3D-маску по единственной фотографии
На самом деле по фотографии программа создает только самый грубый набросок будущей 3D-картинки: двумерную лица, которую разработчики назвали альбедо. Затем система анализирует изображение и распознает отдельные части лица. Текстуры видимой на фотографии система также переносятся с видимой части лица на фотографии. А то, что на снимок не попало, система реконструирует, сравнивая имеющиеся данные с тысячами снимков лиц в базе данных и выбирая, фрагмент за фрагментом, наиболее подходящие. В результате получается 3D-изображение, в точности воспроизводящее самые мелкие детали рельефа кожи модели.
При помощи своей системы кибернетики из Южной Каролины по одной фотографии создали 3D-изображения Мохаммеда Али, Мадонны и Дональда Трампа. Кроме того, они обработали десятки изображений своих знакомых и друзей.
Если изображение, которое загружают в систему, слишком плохого качества, система «спасает» сама себя от добавления в изображение лишних деталей: работа этой системы видна, например, на изображении, сделанном по фото лидера Северной Кореи Ким Чен Ына.
Создатели рассчитывают, что их детище пригодится для создания собственных трехмерных аватаров и для реконструкции облика исторических персонажей.
Результаты работы выложены на Arxive.org.