ИИ научился виртуально сносить дома и показывать вид, который после этого возникает

Ученые из Университета Осаки создали систему машинного обучения, способную виртуально «сносить» здания. Используя алгоритмы генеративно-состязательных сетей (GAN), работающие на удаленном сервере, команда смогла получать и передавать картинку с удаленным строением в режиме реального времени на смартфон. Человек может сразу увидеть, что будет после сноса.
ИИ научился виртуально сносить дома и показывать вид, который после этого возникает
Видео текущего ландшафта снимает смартфон и отправляется на сервер. Сервер обнаруживает целевое здание и генерирует маску. Дополняемая область задается на основе изображения маски, а входное изображение автоматически изменяется. Takuya Kikuchi et al

Не надо спорить, что сносить и что строить. Надо просто посмотреть, что будет

При обновлении городов периодически возникает необходимость сноса старых зданий. Но при этом неизбежно возникают споры, надо ли сносить здание, не пострадает ли ландшафт. Точки зрения всех заинтересованных людей трудно согласовать.

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Исследователи из Университета Осаки решили помочь в решении этой проблемы. Они разработали алгоритм, основанный на машинном обучении, который в режиме реального времени генерирует видео с дополненной реальностью, демонстрирующей вид ландшафта после сноса здания.

Связь между мобильным устройством и сервером позволяет выполнять обработку удаленно, поэтому для съемки можно использовать любой смартфон или планшет, даже не слишком мощный.

Не так-то это просто снести дом, даже виртуально

Чтобы ускорить алгоритм, и он мог предоставлять дополненное видео в реальном времени, команда использовала семантическую сегментацию входного изображения. Это позволяет модели глубокого обучения классифицировать изображения попиксельно, в отличие от обычных методов, которые пытаются выполнить обнаружение трехмерных объектов.

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Алгоритм использует две конкурирующие нейронные сети: генератор и дискриминатор. Генератор обучается создавать все более реалистичные изображения, в то время как перед дискриминатором стоит задача различать, насколько изображение реально. «Обучаясь таким образом, алгоритм может создавать изображения, которые на самом деле не существуют, но являются правдоподобными», — говорят ученые.

Следующий шаг — это научиться виртуально «строить» новые здания и показывать, как они будут смотреться в существующем ландшафте. Но это еще более сложная задача.