ИИ учится учиться, подражая другим ИИ
Команда исследователей искусственного интеллекта Google DeepMind разработала систему ИИ, демонстрирующую возможности социального обучения. В своей работе группа описывает приложение ИИ, которое показало, что оно способно осваивать новые навыки в виртуальном мире, копируя действия встроенного «эксперта».
Большинство систем искусственного интеллекта, таких как ChatGPT, получают свои знания, используя огромные объемы данных, например, из репозиториев в Интернете. Однако такой подход, как отмечают представители отрасли, не слишком эффективен. Поэтому многие специалисты в этой области продолжают искать другие способы научить системы ИИ учиться.
Один из самых популярных подходов, используемых исследователями, — попытаться имитировать процесс обучения людей. Как и в традиционных приложениях искусственного интеллекта, люди учатся, знакомясь с известными элементами окружающей среды и следуя примерам других, которые знают, что делают. Но в отличие от приложений искусственного интеллекта люди могут усваивать информацию без огромного количества обучающих примеров.
Ребенок может научиться играть в простую настольную игру, всего несколько минут понаблюдав за игрой других, — это пример культурной передачи. В новой работе исследовательская группа попыталась воспроизвести этот процесс, используя ИИ, ограниченный виртуальным миром.
Следуй за экспертом
Работа команды включала сначала создание виртуального мира (под названием GoalCycle3D), состоящего из неровной местности, на которой располагались различные препятствия и разноцветные сферы. Затем они добавили агентов ИИ, которые должны были путешествовать по виртуальному миру, избегая препятствий и проходя через сферы. Агентам были снабжены обучающимися модулями, но никакой другой информации о мире, в котором они будут действовать у них не было.
Чтобы заставить агентов учиться, им давали награды за успешное преодоление препятствий и позволяли снова и снова проходить через множество похожих виртуальных миров. В конце концов агенты научились пробираться через виртуальный мир к желаемому месту назначения. Затем исследователи добавили в виртуальный мир еще одну особенность: агентов-экспертов, которые уже знали, как лучше всего добраться из одного места в другое, не сталкиваясь с препятствиями. В новом сценарии агенты-неспециалисты вскоре поняли, что самый быстрый способ добраться до желаемого пункта назначения — это учиться у агента-эксперта.
Наблюдая за обучением агентов, исследователи обнаружили, что агенты учились у эксперта гораздо быстрее, чем это они делали сами, и могли лучше ориентироваться в новых похожих виртуальных мирах, имитируя то, чему они научились от эксперта в предыдущих испытаниях. ИИ-агенты также смогли применять такие навыки (благодаря модулям памяти) даже в отсутствие эксперта — это пример, как утверждают исследователи, социального обучения.