Новая технология может реконструировать 3D-изображения по отражениям в глазах
В исследовании, опубликованном на сервере препринтов arXiv, ученые из Мэрилендского университета описали новую технологию на основе искусственного интеллекта, которая позволяет реконструировать 3D-изображения из отражений в глазах человека.
Технология основана на нейросети под название Поле нейронного излучения (NeRF). Она способна генерировать сложные трехмерные сцены на основе нескольких двухмерных изображений.
Глаза – зеркало...
Исследователи использовали тонкие отражения света, захваченные глазом, чтобы реконструировать окружение человека.
На веб-сайте команды представлены некоторые результаты: к примеру, ученым удалось воссоздать 3D-изображение игрушки и минималистичное окружение комнаты через отражение в зрачках.
У технологии есть ряд ограничений. Во-первых, фотография глаз должна быть в высоком разрешении (выше, чем у камеры бюджетного смартфона). Во-вторых, требуются крайне специфичные условия освещения.
Что видят поп-звезды?
Ученые даже попытались протестировать технологию, использую музыкальные клипы популярных поп-певиц Майли Сайрус и Леди Гаги.
Они смогли рассмотреть в глаза звезд смутные очертания объектов – один из которых, вероятно, был верхней частью тела человека. Однако команда отмечает, что из-за низкого качества видео детали объектов крайне сложно распознать.
Уникальность технологии
В исследовании отмечается, что для работы NeRF в большинстве случаев требуется несколько движущихся камер. Однако эта технология нуждается только в одной камере и человеческом зрачке.
Система имеет огромный потенциал для различных приложений. Возможно, в будущем она будет использоваться для расследования преступлений. Но говорить об этом рано.