Самые продвинутые модели ИИ требуют огромных ресурсов и для обучения, и для работы. А мозг потребляет всего-то около 25 ватт — как довольно тусклая лампочка накаливания или несколько светодиодных источников не самых мощных.
Разработан ИИ, построенный на точной модели реального нейрона
Китайские ученые показали, что искусственная нейросеть, построенная на точной модели реального нейрона увеличивает производительность и снижает энергопотребление.
Каждый из 100 миллиардов нейронов мозга более сложен, чем любая существующая модель искусственного интеллекта. Shutterstock
Сегодня мы имеем дело с очень большими нейросетями, которые содержат сотни миллиардов нейронов. Например, у модели Llama 3.1 — 405 миллиардов нейронов. Это уже в четыре раза больше, чем в мозге человека. Но и энергопотребление таких огромных моделей уже зашкаливает. С этим надо что-то делать.
И в целом при таком скромном энергопотреблении мозг этим гигантских большим языковым моделям (LLM)не уступает. Значит что-то мы делаем не так постоянно наращивая размеры нейросетей.
Nvidia Selena. Суперкомпьютер, на котором обучалась нейросеть Megatron-Turing NLG на 530 миллиардов параметров.
Ученые Ли Гоци и Сюй Бо из Института автоматизации Китайской академии наук, а также Тянь Юнхун из Пекинского университета решили это дело немного поправить. Они обратили внимание на сам нейрон.
Сегодня нейроны нейросетей очень простые, их работа сводится к накоплению сигнала (сложению весов) и разряду — вычислению функции активации и передаче сигнала следующему слою нейронов (или выводу результатов). Но нейрон мозга устроен гораздо сложнее.
Новые нейроны для искусственного интеллекта
Основные компоненты модели Ходжкина — Хаксли. Модель Ходжкина — Хаксли представляет собой биофизические характеристики клеточных мембран.
Первые математические модели нейрона появились еще в начале XX века. А в 1952 году нейробиологи Аланом Ллойдом Ходжкином и Эндрю Хаксли, исследуя гигантский аксон кальмара, построили математическую модель нейрона, которая, пережив множество модификаций и уточнений, дожила до наших дней. Модель Ходжкина-Хаксли оказалась действительно достаточно точно описывающей поведение реального нейрона. Не все поведение, конечно, но главное — заряд и разряд.
Китайские ученые разработали нейросеть в узлах которой работают нейроны Ходжкина-Хаксли. Ученые называют это «маленькой сетью с большой внутренней сложностью», а отличие от традиционных LLM — «больших сетей с маленькой внутренней сложностью», Реализация нейрона Ходжкина-Хаксли действительно достаточно сложная и вычислительно трудная в отличие от традиционных простых моделей. Но как показали ученые, производительность сети, основанной на таких сложных нейронах не падает, а растет. Модель, которую они разработали, показала 4-х кратное повышение производительно при снижении энергопотребления.
Это другой путь развития ИИ: не экстенсивный, а интенсивный, не за счет увеличения объемов, а за счет роста внутренней сложности. Комментируя работу Джейсон Эшрагян, доцент кафедры электротехники и вычислительной техники Калифорнийского университета, сказал: «Пересматривая и углубляя связь между нейронаукой и ИИ, мы можем открыть новые способы создания более эффективных, мощных и, возможно, даже более похожих на мозг систем искусственного интеллекта».