Роботы и нейросети. Главные научные новости недели
Сегодня мы имеем дело с очень большими нейросетями, которые содержат сотни миллиардов нейронов. Например, у модели Llama 3.1 — 405 миллиардов нейронов. Это уже в четыре раза больше, чем в мозге человека. Но и энергопотребление таких огромных моделей уже зашкаливает. С этим надо что-то делать. И ученые решили это дело немного поправить. Они обратили внимание на сам нейрон.
В начале 1960-х годов математики Андрей Колмогоров и Владимир Арнольд решили проблему, которую в 1900 году поставил Давид Гильберт. Еще через 60 лет идеи Колмогорова и Арнольда нашли применения в новой архитектуре нейросетей. В математике все происходит не слишком быстро, зато основательно.
Почему все известные нам модели имеют вот эти номера — GPT-2, GPT-3, GPT-4? Почему нельзя просто доучивать одну и ту же модель на новых данных? Оказывается, у обучения есть предел, после которого модель начинает деградировать. Но ведь человек учится не так. Он же не выпускает собственные новые доученные версии, а просто узнает новое и его использует. Можно ли бороться с таким серьезным недостатком ИИ-моделей? Оказывается, можно. Их просто надо научить забывать ненужное.
Сегодня на рынке гуманоидных роботов уже довольно тесно. Сразу многие компании готовы выпустить свои модели: Tesla, Figure, Boston Dynamics, Sanctuary AI и совсем недавняя — Agibot. Но Unitree Robotics это не смущает.
Ставший популярным совсем недавно «коллапс модели» относится к гипотетическому сценарию, при котором системы ИИ деградируют, потому что обучаются на данных генерируемых ИИ. Так почему же это происходит и чем это грозит.
Чтобы управлять роботом нужен, как минимум смартфон. Это не очень удобно, но все может измениться благодаря роботам, которые чувствуют и интерпретируют прикосновения, хотя они и не покрыты высокотехнологичной и дорогой искусственной кожей. Это шаг к роботам, которые могут взаимодействовать с людьми более интуитивно и естественно.