Гонка ИИ в 2025 году будет острой как никогда

В отчете подчеркивается, что, поскольку ИИ продолжает быстро совершенствоваться, ни одна компания не может сказать с полной уверенностью, что она впереди. В рейтинге Chatbot Arena, где пользователям предлагается проголосовать за производительность различных ботов, модель, занимающая первое место, на 12 % превосходит модель, занимающую десятое место, в начале 2024 года, но лишь на 5 % — в начале 2025 года.

Отчет Artificial Intelligence Index Report 2025 был опубликован Институтом человеко-ориентированного искусственного интеллекта при Стэнфордском университете.

Индекс показывает, что известные генеративные модели ИИ в среднем становятся больше и больше, они используют все больше переменных для принятия решений, все больше вычислительной мощности и все большие наборы обучающих данных. Но разработчики также доказывают, что и более компактные, изящные модели способны на многое. Благодаря более совершенным алгоритмам современная модель теперь может сравниться по производительности с моделью, которая еще два года назад была в 100 раз больше. «2024 год стал прорывным для небольших моделей ИИ», — говорится в исследовании.

Барт Селман из Корнельского университета, который не принимал участия в написании отчета, говорит, что хорошо, когда относительно небольшие и дешевые разработки, такие как китайская DeepSeek, доказывают, что они могут быть конкурентоспособными. «Я прогнозирую, что мы увидим отдельные команды из пяти человек, двух человек, которые предложат новые алгоритмические идеи, которые встряхнут ситуацию», — говорит он. — «И это хорошо. Мы не хотим, чтобы миром управляли только крупные компании».

В отчете показано, что подавляющее большинство заметных моделей ИИ теперь разрабатываются индустрией IT, а не академией: это полная противоположность ситуации начала 2000-х годов, когда нейронные сети и генеративный ИИ еще не появились. До 2006 года индустрия производила менее 20% заметных моделей ИИ, но 60% из них в 2023 году и почти 90% в 2024 году, говорится в отчете.

Соединенные Штаты продолжают оставаться ведущим производителем заметных моделей, выпустив 40 в 2024 году по сравнению с 15 в Китае и 3 в Европе. Но к гонке присоединяются и многие другие регионы, включая Ближний Восток, Латинскую Америку, Юго-Восточную Азию и Россию.

Предыдущее лидерство США по качеству моделей исчезло, добавляется в отчете. Китай, который производит больше всего публикаций и патентов в области ИИ, теперь разрабатывает модели, которые по производительности соответствуют своим конкурентам из США. В 2023 году ведущие китайские модели отставали от лучшей модели США почти на 20 процентных пунктов в тесте Massive Multitask Language Understanding (MMLU), общем ориентире для больших языковых моделей. Но по состоянию на конец 2024 года лидерство США сократилось до 0,3 процентных пункта.

«Примерно в 2015 году Китай встал на путь развития ИИ и сегодня становится ведущим игроком в отрасли, и он сделал это за счет инвестиций в образование», — говорит Селман. — «Мы видим, что это начинает окупаться».

В этой области также наблюдается удивительный всплеск числа и производительности моделей с «открытыми весами», таких как DeepSeek и LLaMa. Пользователи могут свободно просматривать параметры, которые эти модели вырабатывают во время обучения и используют для составления прогнозов, хотя другие детали, такие как код обучения, могут оставаться секретными. Первоначально закрытые системы, в которых ни один из этих факторов не раскрывается, были заметно лучше, но разрыв в производительности между главными претендентами в этих категориях сократился до 8% в начале 2024 года и всего до 1,7% в начале 2025 года.

«Это, безусловно, хорошо для тех, кто не может позволить себе построить модель с нуля, а это множество небольших компаний и ученых», — говорит Рэй Перро, компьютерный ученый из SRI, некоммерческого исследовательского института в Менло-Парке, Калифорния, и со-руководитель отчета. OpenAI в Сан-Франциско, Калифорния, разработавший чат-бот ChatGPT, планирует выпустить модель с открытыми весами уже в ближайшие несколько месяцев.

После публичного запуска ChatGPT в 2022 году разработчики направляют большую часть своей энергии на улучшение систем, увеличивая их. Эта тенденция сохраняется, сообщает индекс: энергопотребление, используемое для обучения типичной ведущей модели ИИ, в настоящее время ежегодно удваивается; объем вычислительных ресурсов, используемых для каждой модели, удваивается каждые пять месяцев; а наборы данных для обучения удваиваются каждые восемь месяцев.

Тем не менее, компании также выпускают очень эффективные малые модели. Например, наименьшая модель, получившая оценку выше 60% на MMLU в 2022 году, использовала 540 миллиардов параметров, но к 2024 году модель достигла того же результата всего с 3,8 миллиардами параметров. Малые модели обучаются быстрее, дают более быстрые ответы и потребляют меньше энергии.

Некоторые малые модели могут имитировать поведение больших моделей, говорит Селман, или использовать преимущества лучших алгоритмов и оборудования, чем в старых системах. Индекс сообщает, что средняя энергоэффективность оборудования, используемого системами ИИ, ежегодно повышается примерно на 40%. В результате таких достижений стоимость набора чуть более 60% баллов по MMLU резко упала с примерно 20 долларов США за миллион токенов (битовых слов, созданных языковыми моделями) в ноябре 2022 года до 7 центов за миллион токенов в октябре 2024 года.

Несмотря на поразительные улучшения в нескольких распространенных контрольных тестах, индекс подчеркивает, что генеративный ИИ по-прежнему страдает от таких проблем, как неявная предвзятость и склонность к «галлюцинациям» или выдаче ложной информации. «Они впечатляют меня во многих отношениях, но ужасают меня в других», — говорит Селман. — «Они удивляют меня с точки зрения совершения очень простых ошибок».