Нейронную сеть научили реагировать на мир вокруг
Американский программист Кайл Макдональд научил нейронную сеть, разработанную специалистами из Стэнфордского университета (США) и компании Google, описывать происходящие события.
В качестве аппаратной платформы американец взял ноутбук MacBook Pro с установленной программой обработки видеопотока.
Для обработки кадров использована программа NeuralTalk с открытым кодом, которая способна описывать происходящее на фотографиях.
Используя нейронную сеть, Макдональд научил программный алгоритм распознавать объекты на кадрах видеопотока с камеры, а затем комментирует всё происходящее на видео в реальном времени.
Чтобы проверить работоспособность алгоритма, программист вышел на улицы Амстердама, держа ноутбук перед собой. Программа оказалась способна довольно точно описывать события, хотя и с некоторыми забавными ошибками.
Для обучения нейронной сети использовался набор из 150 тысяч снимков, описанных вручную.