Весь мозг на одном кристалле. Будущее мемристоров приближается
Главная проблема традиционных вычислительных систем (и она известна уже давно) — это так называемое «бутылочное горло фон Неймана». Согласно архитектуре фон Неймана, которая сегодня используется повсеместно, практически во всех компьютерах и вычислительных устройствах, память (обычно на магнитных носителях) и процессор соединяются линией передачи данных.
Хуже всего, когда по линии надо передавать очень много данных, например, при обучении нейросетей, а это необходимо и в приложениях, связанных с машинным зрением, и при распознавании образов, и при работе Больших лингвистических моделей.
Память — хранит данные, процессор — их обрабатывает, передача данных — съедает время и ресурсы. И огромные ресурсы.
Если сравнить работу мозга и компьютера — энергоэффективность мозга просто несопоставимо выше. Почему? В том числе и потому, что живые системы работают не по «фон Нейману». Они не гоняют терабайты данных от памяти к процессору и обратно, — они данные хранят там же, где и обрабатывают, — в нейронной сети.
Уже достаточно давно была предложена вычислительная парадигма, основанная на мемристорах, и главное, что у них есть — это умение сохранять историю и работать с этой историей.
Мемристор
Мемристор — это буквально «memory resistor» - сопротивление, которое помнит, какое к нему было раньше приложено напряжение. Но еще отец-основатель всех мемристоров инженер-электрик Леон Чуа в 1971 году показал, что теоретически можно реализовать и мем-конденсатор, и мем-катушку, - весь комплект, который нужен для электрических схем. То есть на мемристорах можно построить нормальный вычислительный процессор, но уже с памятью. Внешняя память — не нужна. И тогда не надо будет гонять данные туда-сюда.
Проблема была в том, что не было этих мемристоров, и долгие годы считалось, что это такие теоретические мечтания. Все изменилось в 2008 году, когда первый мемристор был построен. Дальше все стало развиваться уже не только в теории, но и на практике.
В 2013 году вышла статья авторы, которой Массимилиано да Вентра и Юрий Першин показали, как именно можно использовать мемристорные системы. Они писали: «В современных технологиях хранение и обработка информации происходят в физически обособленных областях. Это приводит к нежелательным задержкам в поиске и обработке информации. Однако существуют системы, которые в совокупности называются мемоэлементами, которые выполняют как обработку информации, так и хранение данных на одной физической платформе. Состояния этих мем-элементов адаптируются к входным сигналам и обеспечивают аналоговые возможности, недоступные в стандартных схемах. Схема на мемэлементах обеспечивает аналоговые массивно-параллельные вычисления». В качестве примера они привели очень ресурсоемкую задачу поиска кратчайшего пути. Массивно-параллельные вычисления — это как раз обучение нейросетей.
Куда идем
Ученые из Института Юлиха Петера Грюнберга занимаются мемристорами уже 15 лет (как раз с того момента, когда первый мемристор был построен). И они решили поделиться своим представлением обо всем поле исследований и современном состоянии в разработке мемристорных систем. Они опубликовали статью и подготовили и 200-страничный обзор (в его подготовке приняли участие более 60 ведущих специалистов со всего мира).
Согласно исследованию, приложения в области ИИ, такие как распознавание образов или распознавание речи, скорее всего, выиграют от использования нейроморфных процессоров, основанных в том числе на мемристорах. В первую очередь, потому что они гораздо больше, чем классические вычислительные системы нуждаются в пересылке больших объемов данных. Мемристорные ячейки позволяют обрабатывать эти гигантские данные не пересылая, там же, где они и хранятся.
Из мемристорных ячеек можно формировать матрицы высокой плотности, которые позволяют нейронным сетям обучаться локально: вычисления переносятся из удаленного центра обработки данных в производственный цех, в автомобиль, на домашние устройства и даже смартфоны.
Первые примеры таких матриц уже есть: мемристорная матрица высокой плотности была разработана в Массачусетском технологическом институте в 2020 году. Инженеры МТИ назвали свою разработку «мозг на кристалле» и не без оснований. Мемристоры работают по тому же принципу, что синапсы в мозге.
Если использовать мемристорные решения, то мониторинг и контроль производственных процессов или спасательные операции можно осуществлять без отправки данных через облако. Во многих случаях, например, при природных катастрофах, когда нет связи или она неустойчива, это крайне важно.
«Это позволяет одновременно достичь двух целей: вы экономите энергию, и в то же время личные данные и данные, относящиеся к безопасности, остаются на месте», — говорит профессор Диттманн, редактора обзора.
Это случится не сегодня, даже не завтра, но вычислительная техника радикально изменится. Она станет больше похожа на мозг