Глубокое обучение — дорогой и не самый эффективный метод ИИ. Есть дешевле и быстрее
Одна из первых искусственных нейронных сетей - перцептрон, — была представлена примерно 65 лет назад и состояла всего из одного внутреннего слоя (в нем было несколько сотен нейронов). Сегодня для решения сложных задач классификации разработаны более совершенные архитектуры нейронных сетей, состоящие из множества последовательных внутренних слоев слоев (в каждом миллиарды нейронов). Это важнейший компонент современной реализации алгоритмов глубокого обучения. Многослойная нейронная сеть улучшает выполнение аналитических и физических задач без вмешательства человека и лежит в основе повседневных продуктов автоматизации, таких как технологии беспилотных автомобилей и автономных чат-ботов.
Цель нового исследования, проведенного в Университете Бар-Илан, Израиль заключается в том, чтобы добиться эффективного обучения в нетривиальных задачах классификации с помощью вдохновленных мозгом неглубоких сетей. Неглубокие сети содержат всего два-три слоя. Поэтому потенциально потребуется гораздо меньшая вычислительная сложность.
ИИ учится у мозга
«Наше исследование ставит под сомнение необходимость архитектур глубокого обучения и может направить разработку нового оборудования на эффективную и быструю реализацию неглубокого обучения, вдохновленного работой нейронов мозга», — говорит профессор Идо Кантер ведущий автор исследования. — «Это приведет к расширенным вычислительными возможностям при снижении сложности и энергопотребления».
Ученые показали, что эффективное обучение на искусственной неглубокой архитектуре может достичь тех же показателей успешности классификации, которые ранее достигались только архитектурами глубокого обучения, состоящими из множества слоев и фильтров. Но для эффективной реализации неглубоких архитектур требуется изменение свойств передовых технологий GPU и специальные аппаратные разработки.
Развитие неглубоких архитектур, вдохновленных мозгом, связано с эффективным обучением дендритных деревьев, которое основано на предыдущих экспериментальных исследованиях профессора Кантера. Ученый исследовал адаптацию культур живых нейронов с учетом их важных свойств, которые искусственные нейросети не учитывают: различные формы волны спайков, рефракторные периоды и вариация скорости передачи сигнала.
Ученые пишут, что в течение многих лет динамика мозга и развитие машинного обучения развивались независимо друг от друга, но сегодня о мозге уже известно много, и его динамика должна использоваться как источник для новых типов эффективного искусственного интеллекта.
Мозг остается самым совершенным «вычислительным устройством» и его структуры вдохновляют исследователей ИИ