На страже культурного наследия: как беспилотники помогают сохранять исторические памятники
От бинокулярности до SfM
Есть такой оптический прибор — стереоскоп, смотря в который вы получаете объемное изображение на основе двух почти одинаковых фотографий. Волшебства тут нет, это лишь эксплуатация принципа работы бинокулярного зрения. Мы смотрим на этот мир двумя глазами с разных ракурсов и за счет параллакса, или изменения, между этими ракурсами получаем объемное изображение. Грубо говоря, наш мозг, получая картинки и зная расстояние между глазами и угол смещения, определяет глубину, то есть расстояние до объекта.
Здесь возникает вопрос: а что будет, если фотографий тысячи, а ракурсов — сотни? Принцип остается тот же, но усложняется система распознавания фотографий и в разы увеличивается массив информации, подлежащий обработке. Тогда вступает в силу метод Structure from motion и специальное программное обеспечение, способное справиться с колоссальным объемом данных.
Сохранение культурного наследия
Немного отвлечемся. Чтобы рассказать о технологии работы ПО, нужны примеры. Для этого мы перенесемся в Дагестан.
В апреле 2021 года мы были в экспедиции по удаленным районам республики. Среди отснятых культурных объектов — древнее селение Кала-Корейш (Дахадаевский район), Дербентская Джума-мечеть и Датунский храм. Последний находится в Шамильском районе и отличается тем, что является христианским памятником. Это самая старая из сохранившихся построек подобного рода в Дагестане. Храм функционировал несколько столетий, а потом был заброшен с приходом ислама на эту территорию в XV-XVI вв.
Чтобы запечатлеть этот и другие культурные объекты для следующих поколений, представители Дагестанского государственного университета и Катарско-российского центра сотрудничества создали проект по цифровизации важнейших культурных памятников. Роль «Геоскана» — отснять объекты и создать их 3D-модели. Для этого специалисты использовали квадрокоптер Gemini. В него встроена камера Sony UMC-R10C c APS-C матрицей 20.1 Мп, которая позволяет снимать с разрешением 3 см/пикс. Также на борту есть GNSS, то есть система навигации, благодаря которой коптер ориентируется в пространстве. Чтобы впоследствии облегчить работу ПО, БПЛА летал по спирали снизу вверх, чтобы между фотографиями не было резких переходов.
Обработка фотографий в ПО Agisoft Metashape
Квадрокоптер отлетал — специалисты получили тысячи фотографий одного объекта. Чтобы создать его цифровую копию, мы использовали программное обеспечение Agisoft Metashape.
После выгрузки всего массива данных софту сначала нужно понять, что на фотографиях изображен один и тот же ряд объектов. Для этого он пользуется специальным алгоритмом, который сначала находит особые точки на отдельных фотографиях, а потом на основе уникальных идентификаторов их отождествляет. Этот алгоритм называется SIFT (scale-invariant feature transform), и он применяется не только в трехмерном моделировании, но и при распознавании жестов и позиционном трекинге.
Когда общие точки выявлены, они соединяются в треугольники — а где треугольники, там и возможность производить расчеты. Однако откуда взять исходные параметры? На помощь приходят система GNSS и автопилот, которые фиксируют координаты положения квадрокоптера, а соответственно и координаты объектива, производившего снимки. После того как расстояние до особых точек высчитано, мы получаем плотное облако точек, которое по контуру обволакивает объекты в уже вырисовывающейся модели.
Затем строится полигональная модель объекта, которая впоследствии «разукрашивается». Программа высчитывает для каждой точки цвет и создает текстуру. Это финальный этап в 3D-моделировании.
Беспилотные технологии запечатлели в цифре не только Датунский храм, но и Пальмиру и нижегородские церкви. Благодаря таким 3D-моделям любой желающий уже сейчас может посетить древние места и насладиться красотой былой эпохи.