Обогащая реальность: Технология AG (Augmented Reality)

Проверить предсказание Крайтона мне удалось десять лет спустя на компьютерной выставке CeBIT.

«Хотите почувствовать себя в роли автомеханика BMW?» — инженер на стенде Фраунгоферовского института приветливо улыбается. «Вообще-то у меня машина другой марки...» — отвечаю я. «Ничего страшного! — уверяет мой собеседник. — Тем лучше — эксперимент будет чистым». Я надеваю протянутые громоздкие прозрачные очки, от которых тянется провод к компьютеру, инженер запускает программу, и... ничего не происходит! «А вы посмотрите вниз, на двигатель», — советует консультант. Я склоняюсь над капотом... Ух ты! Радиатор двигателя, который я наблюдаю сквозь прозрачные очки, обрамляется светящимся полупрозрачным зеленоватым контуром, и толстые зеленые стрелки показывают на болты, которые нужно открутить в первую очередь. «Ну как, сможете разобрать двигатель?» — инженер улыбается. — «Смогу!» — «Отлично! А хотите попробовать поменять колесо на самолете Airbus?» Так состоялось мое знакомство с технологией, которую называют Augmented Reality (AR), или, в переводе на русский, «Обогащенная реальность».

Термин Augmented Reality (AR) ввел в обиход Том Кодуэлл (ныне профессор Университета Нью-Мексико) в 1990 году. Наблюдая, как на заводе компании Boeing рабочие собирают шины бортовой электропроводки с помощью фанерных щитов со штырьками и цветной разметкой, он предложил использовать для этого наголовные дисплеи, что было бы гораздо удобнее и гибче. Таким образом, первое предложенное применение для обогащенной реальности было вовсе не игровое, а самое что ни на есть промышленное.

В чем отличие виртуальной реальности от ее обогащенного варианта? В широко известной технологии виртуальной реальности (virtual reality, VR) человек надевает шлем с вмонтированным дисплеем, при этом положение головы отслеживается с помощью вмонтированных в шлем датчиков, а положение рук — с помощью специальных перчаток. Такой подход позволяет «погрузиться» в мир, полностью созданный компьютером. Этот метод прекрасно подходит для различных компьютерных игр и симуляторов, однако за пределами этих областей его применение достаточно ограничено.

В отличие от VR, обогащенная реальность использует лишь некоторые виртуальные элементы, которые «подмешиваются» к изображению настоящего мира. Поэтому обогащенную реальность иногда также относят к «смешанной» (mixed reality). В системе AR за окружающим миром следит видеокамера, изображение с которой после компьютерной обработки выводится на экран монитора или очки. Компьютер может распознавать предметы или специальные метки в кадре и «впечатывать» в живое видео дополнительное изображение. При этом виртуальная часть не является статичной, она привязана к изображению окружающего мира, которое компьютер непрерывно отслеживает по сигналу видеокамеры.

Другая разновидность технической реализации AR предусматривает полупрозрачные очки, через которые пользователь наблюдает реальный мир. При этом виртуальное изображение проецируется на поверхность очков с помощью специального проектора. В этой схеме видеокамера выполняет роль датчика положения — глядя в том же направлении, куда смотрит пользователь, она помогает компьютеру сориентироваться и точно совместить реальное и виртуальное изображения.

В теории все выглядит очень просто, однако на практике работа системы AR довольно сложна. Компьютер должен практически в реальном времени сделать следующие операции. Во-первых, обнаружить в кадре специальную метку-маркер, которая обозначает необходимость вставить в изображение виртуальный объект. Во-вторых, распознать маркер, чтобы понять, с каким именно виртуальным объектом он связан. Но этого мало: компьютер должен еще определить, в каком положении находится маркер (как он ориентирован относительно пользователя).

После получения этой информации и ее обработки система вставляет соответствующий трехмерный объект в реальное изображение, выдаваемое на экран. Причем трехмерный виртуальный объект правильно расположен относительно маркера и взаимодействует с ним по заданным правилам — например, наклоняется вместе с маркером, напечатанным на странице журнала. В качестве маркера может выступать любой предмет или изображение, хотя для упрощения распознавания метку часто делают контрастной и легко различимой.

Несмотря на быстрый прогресс в области вычислительной техники, системы обогащенной реальности по-прежнему можно увидеть лишь в стенах лабораторий и на выставках. Ну и еще у военных — подобные системы уже давно применяются в военном деле, достаточно вспомнить индикаторы на лобовом стекле (ИЛС) и нашлемные системы целеуказания. Между тем применений для них предложено огромное количество. Например, уже упомянутые промышленные системы, разрабатываемые в Фраунгоферовском институте в Германии, сейчас проходят испытания в автосервисах BMW, а также на авиаремонтных предприятиях концерна EADS и при монтаже промышленного оборудования Siemens.

Такие системы помогут техникам и монтажникам не допускать ошибок, уменьшив долю «человеческого фактора» в различных авариях и поломках. Например, после окончания ремонта двигателя автомобиля автомеханик в очках «обогащенной реальности» бросает заключительный взгляд на моторный отсек, компьютер опознает все объекты под капотом и проверяет, не осталось ли лишних деталей, — скажем, не забыл ли автомеханик гаечный ключ. Компьютеры уже достаточно компактны и обладают достаточной вычислительной мощностью, чтобы более-менее уверенно выполнять подобные задачи (впрочем, программное обеспечение для этого — отдельный вопрос). Одна из проблем — промышленное исполнение наголовных модулей. Пока что образцы довольно уязвимы и не слишком пригодны для реального применения в промышленности.

Другое дело — «домашние» развлечения и образование. На многочисленных компьютерных выставках уже вовсю демонстрируются образцы очков «обогащенной реальности» в виде лорнета — с камерой, дисплеем и компьютером в моноблочном исполнении. Разглядывая через такой лорнет книгу с соответствующими метками, можно дополнить прочитанное разглядыванием трехмерных анимированных моделей, а на бумажной карте — увидеть горные хребты, моря и океаны. Подобные системы также могут послужить хорошим подспорьем для путешественников — глядя на туристические достопримечательности сквозь очки, можно, например, увидеть Колизей в его первозданном виде или просто прочитать справочную информацию о шедеврах архитектуры. А можно даже поплавать в бассейне с AR-маской, глядя на несуществующие коралловые рифы и тропических рыб. Разумеется, AR (как и VR) широко применяется в различных компьютерных играх. В том числе и для мобильных телефонов, ведь почти у каждого из современных смартфонов есть камера.

Еще одно эффектное применение AR — это различные лекции и презентации. В подобных случаях принято дублировать выступление докладчика на большом экране, так что, подключив компьютер к обработке видеосигнала, можно наглядно продемонстрировать совершенно невиданные вещи — от автомобильной погони на сцене (с учетом реально существующих препятствий в виде стульев, столов, докладчика и т. п.) до выезда прямо из стены поезда в натуральную величину. Те, кто сидит в первых рядах, наверное, чувствуют при этом легкое раздвоение личности — им одновременно хорошо видны сцена, на которой на самом деле нет ничего, кроме докладчика и мебели, и экран, на котором они наблюдают за синтезом двух миров — реального и виртуального.