Робот, обученный на видеозаписях, оперирует с мастерством хирурга
Успешное использование имитационного обучения для тренировки хирургических роботов устраняет необходимость программировать роботов на каждое отдельное движение, необходимое во время медицинской процедуры. Это приближает использование роботизированной хирургии, когда автономные роботы смогут выполнять сложные операции без помощи человека.
«Это действительно волшебно — иметь такую модель, когда все, что от нас требуется, — подавать ей данные с камеры», — говорит старший автор работы Аксель Кригер. — «Мы считаем, что это значительный шаг вперед на пути к новому рубежу в медицинской робототехнике».
Результаты работы исследователей из Университета Джонса Хопкинса были представлены на конференции по обучению роботов в Мюнхене.
Команда исследователей под руководством ученых Стэнфордского университета, использовала имитационное обучение робота da Vinci Surgical System, чтобы обучить его выполнять основные хирургические операции: манипулировать иглой, поднимать ткани тела и накладывать швы.
Модель сочетала имитационное обучение с той же архитектурой машинного обучения, которая лежит в основе ChatGPT. Однако если ChatGPT работает со словами и текстом, то эта модель говорит с роботом с помощью кинематики — языка, который представляет движения роботов, как математические выражения.
Смотри и учись
Исследователи обучали модель на сотнях видеороликов, записанных с наручных камер, установленных на роботах da Vinci во время хирургических операций (у робота 4 руки, но в одной он держит камеру).
Эти видео, записанные хирургами по всему миру, используются для послеоперационного анализа и затем архивируются. Около 7 000 роботов da Vinci используются по всему миру, и более 50 000 хирургов прошли обучение на этой системе, что создает большой архив данных для обучения автономных роботов.
Хотя система da Vinci широко используется во всем мире, по словам исследователей она все-таки часто ошибается. Но команда нашла способ заставить несовершенный ввод работать. Ключевым моментом стало обучение модели выполнять относительные движения, а не воспроизводить действия, которые бывают неточными.
«Все, что нам нужно, — это ввести изображение, а затем эта система искусственного интеллекта находит правильное действие», — говорит ведущий автор работы Чжи Вунг «Брайан» Ким. — «Мы обнаружили, что уже после нескольких сотен демонстраций модель способна выучить процедуру и обобщить ее для новых сред, с которыми она еще не сталкивалась».
Команда обучила робота выполнять три задачи: манипулировать иглой, поднимать ткани тела и накладывать швы. В каждом случае робот, обученный по разработанной командой модели, выполнял хирургические операции так же умело, как и врачи-люди. «Модель отлично учится даже тому, чему мы ее не учили», — говорит Кригер. — «Например, если она уронит иглу, то автоматически поднимет ее и продолжит работу. Этому мы ее не учили».
По словам исследователей, модель можно использовать для быстрого обучения робота любым хирургическим операциям. Теперь команда использует имитационное обучение, чтобы обучить робота выполнять не только небольшие хирургические задачи, но и полноценную операцию. До этого программирование робота для выполнения даже простых операций требовало ручного кодирования каждого шага. По словам Кригера, кто-то может потратить десятилетие на то, чтобы смоделировать наложение швов. И это при наложении швов только для одного вида операций.
«Это очень серьезное ограничение», — говорит Кригер. — «Новым здесь является то, что нам нужно лишь собрать информацию об имитации различных процедур, и мы можем обучить робота, например, накладывать неизвестный ему шов за пару дней. Это позволит нам ускорить достижение автономии, сократить количество врачебных ошибок и добиться более точной хирургии».