Робот учится так браться за инструмент, чтобы можно было его использовать
Робот учится брать дрель за ручку и нажимать на кнопку. Это очень непростое дело. То, что человек это умеет «по умолчанию», только осложняет дело: тому, чему ты сам не учился, научить крайне непросто. Но на помощь пришло глубокое обучение.
Большинство взрослых людей обладают врожденной способностью брать предметы, находящиеся в окружающей среде, и удерживать их таким образом, чтобы правильно использовать. Например, когда человек берет в руку половник, он почему-то берет его именно за ручку.
Но роботов необходимо обучать тому, как следует брать и удерживать предметы. Это непростой процесс, поскольку робот постоянно имеет дело с объектами, с которыми он раньше не сталкивался.
Исследовательская группа Autonomous Intelligent Systems (AIS) Боннского университета разработала новую технологию обучения, позволяющую улучшить способность роботизированной руки манипулировать объектами.
«Объект считается функционально захваченным, если его можно использовать, например: указательный палец лег на пусковую кнопку дрели», — говорит Дмитрий Павличенко, соавтор работы. — «Такой специфический захват может быть не сразу доступен. Это приводит к необходимости манипулирования всем объектом. В данной работе мы рассматриваем такое манипулирование перед захватом с помощью антропоморфной руки».
Манипулирование перед захватом основано на глубоком обучении с подкреплением: высокоэффективной и хорошо известной методике обучения алгоритмов искусственного интеллекта. Используя эту методику, команда обучила модель ловким манипуляциям с объектами до их захвата, гарантируя, что робот в итоге возьмет объект правильно.
«Наша модель обучается с помощью многокомпонентной функции вознаграждения, которая стимулирует приближение объекта к заданной цели функционального захвата путем взаимодействия пальцев с объектом», — говорит Павличенко.
Цифровая модель
Исследователи оценили свой подход в среде симуляции Isaac Gym и пришли к выводу, что он дает весьма многообещающие результаты. В ходе первых испытаний модель позволила роботам-симуляторам научиться перемещать в руках предметы различной формы и в конечном итоге найти оптимальный способ манипулирования ими. Робот разобрался с этим сам, демонстрация со стороны человека не потребовалась.
Подход к обучению, предложенный учеными, может быть применен к различным роботизированным манипуляторам, работающим с объектами различной формы. Таким образом, в будущем он может быть развернут и испытан на различных физических роботах.
«Мы продемонстрировали, что обучение сложному человекоподобному динамическому поведению возможно на одном компьютере за несколько часов тренировок», — сказал Павличенко. — «В наших планах - перенести изученную модель в реальный мир и добиться аналогичных характеристик на реальном роботе. Обычно это довольно сложно, поэтому мы ожидаем, что для преодоления разрыва между симуляцией и реальностью может потребоваться дополнительный этап обучения, теперь уже в режиме онлайн на реальном роботе».