Разработана виртуальная система обучения роботов, подобная «Матрице»
Международная группа исследователей представила систему компьютерного моделирования Genesis. Виртуальная среда позволяет роботам отрабатывать задачи в смоделированной реальности в 430 000 раз быстрее, чем в реальном мире.
Платформа Genesis, разработанная группой под руководством Чжоу Сяня из Университета Карнеги-Меллон, делает физические расчеты в 80 раз быстрее, чем существующие симуляторы роботов (например, Isaac Gym от Nvidia). Модель использует графические карты, подобные тем, что используются в видеоиграх, чтобы запускать до 100 000 копий симулятора одновременно. Это очень важно, когда речь идет об обучении нейронных сетей, которые будут управлять будущими роботами реального мира.
«Если ИИ может управлять 1 000 роботов для выполнения 1 миллиона навыков в 1 миллиарде различных симуляций, то он может "просто работать" в нашем реальном мире, который является просто еще одной точкой в огромном пространстве возможных реальностей», — пишет Фан. — «Это фундаментальный принцип, объясняющий, почему симуляция так эффективно работает в робототехнике».
Динамические миры
Команда также сообщила, что работает над возможностью создания так называемых «4D динамических миров» — 4D означает 3D-симуляцию, которая меняется во времени. Как пишут разработчики, система будет использовать модели зрения (VLM) для создания полноценных виртуальных сред на основе текстовых описаний (подобно «подсказкам» в других моделях ИИ).
Как сообщается, созданные ИИ миры будут включать в себя реалистичную физику, движения камеры и поведение объектов — все это можно будет получить с помощью текстовых команд. Затем система создаст физически точные видео с трассировкой лучей и данные, которые роботы смогут использовать для обучения.
Примеры «4D динамических физических» миров, созданных Genesis на основе текстовых подсказок.
Эта система, основанная на подсказках позволит исследователям создавать сложные среды для тестирования роботов, вводя команды на естественном языке, вместо того чтобы программировать их вручную. «Традиционно симуляторы требуют от художников огромного количества ручных усилий: активные 3D-объекты, текстуры, макеты сцен и т.д. Но любой компонент рабочего процесса можно автоматизировать», — пишет Фан.
Используя свой движок, Genesis может также генерировать движения персонажей, интерактивные 3D-сцены, анимацию мимики и многое другое, что может позволить создавать даже художественные проекты, и в будущем может привести к созданию более реалистичных игр и видео, генерируемых ИИ.