Невероятная камера с самым большой глубиной резкости в мире: фантастическая четкость даже на расстоянии больше километра

В частности, один трилобит, Dalmanitina socialis, привлек внимание исследователей NIST из-за своей уникальной сложной структуры глаза. Исследование окаменелостей показывает, что зрительная система этого малыша имела двухслойные линзы, и что верхние слои этих линз имели выпуклость посередине, которая создавала вторую точку фокусировки. Это означало, что Dalmanitina socialis могла фокусироваться как на добыче прямо перед собой, так и на хищниках, которые могли приближаться издалека.

Исследовательская группа решила посмотреть, можно ли применить эту идею к камере светового поля. В то время как обычные камеры в основном принимают свет и записывают информацию о цвете и яркости по двумерной сетке, камеры светового поля гораздо сложнее и кодируют не только цвет и яркость, но и направление каждого луча света, попадающего на датчик.

Когда таким образом захватывается все световое поле, вы получаете достаточно информации, чтобы реконструировать сцену с точки зрения цвета, глубины, прозрачности, зеркальности, преломления и окклюзии, и вы можете настроить такие параметры, как фокус, глубина резкости, наклон и т. д. смещение перспективы после того, как фотография уже сделана.

Проблема до сих пор, по словам команды NIST, заключалась в увеличении глубины резкости без потери пространственного разрешения, потери информации о цвете или закрытия диафрагмы настолько, что стала проблемой скорость затвора. И именно здесь эти бифокальные трилобайтные линзы вдохновили на прорыв.

Команда разработала массив металинз, плоскую стеклянную поверхность, усеянную множеством крошечных прямоугольных столбиков из наноразмерного диоксида титана. Каждая из этих колонн имела точную форму и ориентацию, чтобы манипулировать светом определенным образом.

Поляризация сыграла здесь ключевую роль — наностолбики изгибают свет по-разному, если он поляризован по левому кругу (LCP) или по кругу справа (RCP). Разная степень изгиба приводит к разным фокусным точкам, поэтому у исследователей уже было две фокусные точки для работы. Проблема заключалась в том, что один датчик мог захватить сфокусированное изображение только из одной из этих фокусных точек.

Поэтому исследователи разместили наностолбчатые металинзы так, чтобы часть света, попадающего в каждую из них, проходила через длинную сторону прямоугольника, а часть — по более короткому пути. Опять же, это искривляло свет на две разные величины и создавало две разные фокусные точки: одна фокусировалась вблизи, как макрообъектив, а другая фокусировалась на расстоянии, как телеобъектив.

Команда спроектировала и построила массив металинз 39 x 39 с ближней точкой фокусировки, установленной на расстоянии всего 3 см, и дальней точкой, установленной на расстоянии 1,7 км. Ученые также разработали алгоритм реконструкции с использованием многомасштабных сверточных нейронных сетей для исправления всех многочисленных аберраций, вносимых этими 1521 крошечными металинзами двойного назначения, особенно с учетом того, насколько сложно соблюдать жесткие производственные допуски в наномасштабе.

Этот алгоритм реконструкции оказался жемчужиной. После простого процесса калибровки и обучения он смог точно определить, как и где конкретный массив металинз отклоняется от совершенства — с точки зрения хроматической аберрации, размытости и других оптических дефектов, и может внести исправления, которые затем можно легко применить к любому сделанному изображению.

Более того, несмотря на то, что две его фокусные точки находятся на расстоянии почти в два километра, алгоритм может четко реконструировать любой объект, расположенный между ними, создавая окончательное изображение, которое может иметь самую большую глубину резкости из когда-либо продемонстрированных. Объекты в трех сантиметрах от объектива будут такими же сверхъестественно четкими и резкими, как и те, что находятся далеко на горизонте.