Слух помог роботу лучше понимать окружающий мир

Чтобы роботы могли помогать человеку и заменять его в каких-то сферах, они должны думать, видеть и слышать! Оказалось, звуки и способность слышать могут помочь машинам различать предметы. Исследователи из Института робототехники Университета Карнеги-Меллона, считают, что слух может помочь роботам определять, какой тип действия вызвал звук, и помочь им использовать звуки для предсказания физических свойств новых объектов.

Некоторые предыдущие работы уже указывали на то, что звук — важная составляющая восприятия и понимания внешнего мира, однако до сих пор было не совсем понятно, как это можно использовать в робототехнике. В новом исследовании ученые обнаружили, что слух повысил производительность роботов, а некоторые из машин могли успешно классифицировать объекты в 76% случаев благодаря звуку.

Результаты настолько порадовали инженеров, что они говорят, что «было бы полезно снабдить будущих роботов инструментами, которые могли бы позволять им постукивать по объектам, которые они хотят идентифицировать».

Для самого исследования ученые записали видео и аудио 60 объектов (инструменты, обувь, яблоки и другие) в момент, когда они скользили или катались по специальному лотку. Так они создали набор данных, в котором числилось более 15 000 файлов со взаимодействиями и дали проанализировать его роботу. Примечательно, что когда машина изучила набор данных, она смогла предсказать физические свойства объектов, которые она еще не слышала, на основе знаний о тех, с которыми она уже работала.