Что означает драма OpenAI для прогресса ИИ и безопасности человечества

Эксперты, с которыми разговаривал журнал Nature, пришли к выводу, что это не просто борьба за власть в компании, которая невероятно быстро растет и стоит уже несколько десятков миллиардов долларов (по некоторым оценкам 35 миллиардов). Все серьезнее и глубже. «Стремление к сохранению доминирования приводит к токсичной конкуренции. Это гонка ведет ко дну», — говорит Сара Майерс Уэст, управляющий директор AI Now Institute, организации политических исследований, базирующейся в Нью-Йорке.

Альтман — успешный инвестор и предприниматель, соучредитель OpenAI и ее публичное лицо с самого основания компании. Он был генеральным директором с 2019 года и курировал инвестиции Microsoft в размере около 13 миллиардов долларов США. После первоначального увольнения Альтмана компания Microsoft, которая использует технологию OpenAI для своей поисковой системы Bing, предложила Альтману должность руководителя новой передовой исследовательской группы в области искусственного интеллекта. Возвращение Альтмана в OpenAI произошло после того, как сотни сотрудников компании подписали письмо с угрозами последовать за Альтманом в Microsoft, если он не будет восстановлен на работе.

Совет директоров OpenAI, отстранивший Альтмана 17 ноября, не объяснил подробно причин своего решения, заявив сначала, что он был уволен, потому что «не всегда был откровенен в общении с советом директоров». Позднее совет директоров добавил, что это решение не имеет ничего общего с «должностным преступлением или чем-либо, связанным с нашей финансовой, деловой практикой, безопасностью или защитой и конфиденциальностью».

Но некоторые эксперты предполагают, что увольнение может быть вызвано расколом в OpenAI между теми, кто сосредоточен на коммерческом росте, и теми, кого не устраивает слишком быстрое развитие и его возможное влияние на миссию компании «обеспечить, чтобы общий искусственный интеллект (AGI) приносил пользу всему человечеству».

Компания OpenAI базируется в Сан-Франциско, Калифорния. Она была основана в 2015 году как некоммерческая организация. В 2019 году компания перешла на необычную модель ограничения прибыли, при которой совет директоров не подотчетен акционерам или инвесторам, включая Microsoft. За увольнением Альтмана «явно стоит конфликт между некоммерческим характером организации и прибылью, то есть конфликт культуры и целей», — говорит Джатан Садовски, социолог и технологический специалист из Университета Монаша в Мельбурне, Австралия.

Илья Суцкевер, главный научный сотрудник OpenAI и член правления, уволившего Альтмана, в июле этого года переключил свое внимание на «сверхсогласование» — четырехлетний проект, направленный на то, чтобы гарантировать, что будущие сверхразумы будут работать на благо человечества.

Неясно, расходятся ли Альтман и Суцкевер по поводу скорости разработки: после того, как совет директоров уволил Альтмана, Суцкевер выразил сожаление по поводу последствий его действий и был среди сотрудников, подписавших письмо с угрозой уйти, если Альтман не вернется.

После возвращения Альтмана в OpenAI произошли перестановки в составе совета директоров: Суцкевер и Хелен Тонер, исследователь в области управления и безопасности ИИ из Центра безопасности и новых технологий Джорджтаунского университета в Вашингтоне, округ Колумбия, больше не входят в состав совета директоров. В число новых членов совета директоров входит Брет Тейлор, который входит в совет директоров платформы электронной коммерции Shopify и ранее возглавлял компанию-разработчика программного обеспечения Salesforce.

Похоже, что OpenAI еще больше отойдет от своего некоммерческого происхождения. По мнению Садовски компания превратится в классическую ориентированную на прибыль технологическую компанию Кремниевой долины.

OpenAI выпустила ChatGPT почти год назад 30 ноября 2022 года, принеся компании мировую известность. Бот был основан на Большой языковой модели GPT-3.5 (БЯМ), которая использует статистические корреляции между словами в миллиардах обучающих предложений для генерации связано изложенных ответов на подсказки. Широта возможностей, которые открывает эта техника (включая то, что некоторые называют логическим рассуждением), поразила и обеспокоила как ученых, так и широкую общественность.

OpenAI не одинока в разработке БЯМ, но выпуск ChatGPT, вероятно, подтолкнул к развертыванию других аналогичных приложений: Google запустил своего чат-бота Bard в марте 2023 года, в том же месяце, когда была выпущена обновленная версия ChatGPT, основанная на GPT-4. Уэст обеспокоена тем, что продукты появляются до того, как кто-либо получит полное представление об их поведении и возможности их некорректного использования. Уэст считает, что это может быть «вредным для общества».

Конкуренция в области диалогового ИИ обостряется все сильнее. Google намекнул, что впереди нас ждет еще больше продуктов искусственного интеллекта. У Amazon есть собственное предложение искусственного интеллекта Titan. Среди менее крупных компаний, которые стремятся конкурировать с ChatGPT, называют немецкую Aleph Alpha и особенно часто американскую Anthropic, основанную в 2021 году бывшими сотрудниками OpenAI. Компания 21 ноября 2023 года выпустила чат-бота Claude 2.1. Stability AI и Cohere — другие часто упоминаемые конкуренты.

Уэст отмечает, что эти стартапы в значительной степени полагаются на огромные и дорогие вычислительные ресурсы, предоставляемые всего тремя компаниями — Google, Microsoft и Amazon. Тем самым создавая гонку за доминирование между этими контролирующими развитие ИИ гигантами.

Один из крупнейших специалистом в ИИ, пионер глубокого обучения и учитель Ильи Суцвекера Джеффри Хинтон из Университета Торонто в Канаде глубоко обеспокоен скоростью развития ИИ. «Если вы хотите разгонять машину как можно быстрее, первое, что вы делаете, — это снимаете тормоза», — говорит он. (Хинтон отказался комментировать Nature события на OpenAI, произошедшие с 17 ноября.)

OpenAI была основана с конкретной целью разработки общего искусственного интеллекта (AGI) — системы глубокого обучения, которая хороша в чем-то одном, но настолько же умна, как человек. Остается неясным, возможен ли вообще AGI. Но некоторые начинают на это делать ставку. Хинтон говорит, что раньше он думал, что AGI появится в масштабе 30, 50 или, может быть, 100 лет. «Я думаю, что сейчас мы, вероятно, получим это через 5–20 лет».

Неизбежная опасность ИИ связана с тем, что он используется в качестве инструмента злоумышленниками — людьми, которые используют его, например, для создания дезинформации, мошенничества или, потенциально, для изобретения нового оружия биотерроризма. А поскольку современные системы искусственного интеллекта работают, находя закономерности в существующих данных, они также имеют тенденцию усиливать исторические предубеждения и социальную несправедливость, подчеркивает Уэст.

В долгосрочной перспективе Хинтон и другие специалисты обеспокоены тем, что система искусственного интеллекта сама по себе и независимо от человека получит достаточную свободу действий, чтобы направлять мировые события в негативном направлении. Это могло бы произойти, даже если бы AGI был разработан — в соответствии с миссией OpenAI по «сверхсогласованности», то есть исключительно в интересах человечества. Например, ИИ может решить, что тяжесть человеческих страданий настолько велика, что для человечества лучше погибнуть, чем так мучиться. Подобные заявления звучат как научная фантастика, но Джеффри Хинтон утверждает, что экзистенциальная угроза со стороны ИИ, который невозможно отключить и который сворачивает на разрушительный путь, вполне реальна.

Саммит по безопасности искусственного интеллекта, организованный Великобританией в ноябре, был призван опередить подобные опасения. На данный момент около двух десятков стран согласились совместно работать над этой проблемой, хотя что именно они будут делать, остается неясным.

Уэст подчеркивает, что важно сосредоточиться на уже существующих угрозах со стороны ИИ, а не на далеко идущих проблемах, и обеспечить применение существующих законов к технологическим компаниям, разрабатывающим ИИ. Происходящее в OpenAI, по ее словам, подчеркивает, что всего несколько компаний, обладающих деньгами и вычислительными ресурсами для поддержки ИИ, уже сегодня обладают огромной властью — что, по ее мнению, требует более пристального внимания со стороны антимонопольных органов. «Регулирующие органы в течение очень долгого времени очень осторожно относились к этому рынку», — говорит Уэст. — «Нам нужно начать с обеспечения соблюдения законов, которые у нас есть сейчас».

Не очень ясно, как могут достаточно неповоротливые юридические и политические институты успеть за происходящими изменениями. Когда мы говорим, что регуляторы не относились к развитию ИИ серьезно «в течении очень долгого времени», нельзя забывать, что ChatGPT-3 вышел всего год назад.