Игры с разумом: как разработчики применяют нейросети в гейм-индустрии

Нейросети вовсю применяют при создании компьютерных игр, причем в самых разных областях – от написания кода до генерации открытого мира. О том, насколько далеко может зайти этот процесс, мы поговорили с разработчиками из Mundfish (Atomic Heart), Dobro Games и других крупных компаний.
Игры с разумом: как разработчики применяют нейросети в гейм-индустрии
Shutterstock.com

Искусственный интеллект в играх начали применять еще во второй половине XX века – задолго до массового распространения персональных компьютеров. Но появление нейросетевых технологий подняло ИИ на качественно новый уровень и начало менять как процесс разработки игр, так и сами игры. Однако, прежде всего, стоит разграничить понятия «искусственный интеллект» и «нейросеть».

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ
  • ИИ – имитация разумности, которая может быть достигнута разными средствами. И совсем не обязательно степень этой разумности будет высокой.
  • А нейросеть – система, подражающая работе человеческого мозга и обученная на большом объеме данных. Как следствие, она способна выдавать нелинейный, в хорошем смысле непредсказуемый результат. Сегодня нейросеть – лучшая основа для искусственного интеллекта.

Воспитание чувств и реакций

Самый очевидный вариант использования нейросетей в гейм-индустрии – создание текстового контента, прежде всего речи неигровых персонажей (non-player character, NPC). Шаблонные ответы убивают все настроение, нейросети же предлагают оригинальные фразы, имитируя живое общение. Не всегда успешно, но все лучше и лучше.

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Потом эту текстовую импровизацию нужно трансформировать в речь, причем с соответствующей мимикой. Для этого существует нейросетевой сервис ACE for Games от Nvidia, который объединяет три оптимизированные базовые ИИ-модели.

  1. Nvidia NeMo пишет реалистичную речь персонажа с учетом его истории. Обучают эту модель разработчики на собственных наборах данных.
  2. Nvidia Omniverse Audio2Face создает анимацию лица персонажа в соответствии с произносимой им речью. Этот модуль включает коннекторы Omniverse для MetaHuman Animator – программы лицевой анимации, работающей с популярным игровым движком Unreal Engine 5.
  3. Nvidia Riva служит для распознавания речи игрока и трансформации ее в текст для общения с игровым ИИ.
РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ
Для демонстрации нейросетевой технологии ACE (реплики + мимика рта) Nvidia выбрала сюжет с барменом.
Для демонстрации нейросетевой технологии ACE (реплики + мимика рта) Nvidia выбрала сюжет с барменом.
Nvidia
РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Лепим и рисуем

Модная тема создания изображений с помощью нейросетевых инструментов гейм-индустрию тоже стороной не обошла. Правда, профессионалы используют более сложные инструменты, чем Midjourney, хотя и его тоже.

Nvidia
РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

В частности, среди игровых художников популярна нейросеть Stable Diffusion. Ее особенность – широчайший диапазон настроек. Есть фильтры, есть задающие стиль рисования модели, есть масса написанных сторонними разработчиками расширений. Кроме того, Stable Diffusion можно обучить на собственных референсных изображениях, получив на выходе картинки в своем же авторском стиле. Добиться нужного результата непросто, так что уже можно говорить о появлении профессии AI-художника. Но и при всех сложностях скорость создания персонажей возрастает на порядок.

Нарисовать в Stable Diffusion персонажей, используя в качестве референсов изображения из Minecraft? Легко!
Нарисовать в Stable Diffusion персонажей, используя в качестве референсов изображения из Minecraft? Легко!
Nvidia
РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ
РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Существуют и нейросетевые генераторы 3D-моделей, например Mesh. Достаточно дать программе текстовое задание, чтобы получить на выходе объект с заданными текстурами. Конечно, сходу шедевр не создать, и все же выходит намного быстрее, чем вручную. А некоторые нейросети, в частности Instant NeRF, строят 3D-модели по набору картинок.

Квесты с текстом

Еще один вариант применения нейросетей в играх – придумывание несложных квестов. Более того, существуют текстовые ролевые игры на основе ChatGPT. Там игрок определяет стиль приключения, выбирает тип персонажа, а затем словами описывает свои реакции на сюжетные повороты. И в зависимости от этих описаний нейросеть генерирует цепочку событий. Самую известную из таких игр, AI Dungeon, с 2019 года из Google Play скачали более 1 млн раз. Любопытно, что некоторые пользователи указывали на склонность этой игры к созданию сексуализированного контента без соответствующего запроса – видимо, нейросеть ориентировалась на пожелания других пользователей или ее обучали на таком материале.

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ
В последней версии текстового квеста AI Dungeon есть возможность генерации изображений.
В последней версии текстового квеста AI Dungeon есть возможность генерации изображений.
AI Dungeon

Творцы миров

Нейросети, генерирующие изображения, перестают выглядеть чудом после знакомства с такими инструментами, как Promethean AI, – создающими трехмерные игровые миры. Принцип управления у них аналогичный: нужный стиль изображения можно описать текстом или задать референсной картинкой. Нейросеть предложит варианты, а потом трансформирует выбранное изображение в 3D. И так на каждом этапе сотворения игрового мира: начинаем с ландшафта, затем дополняем его всем необходимым. Нейросеть сама вписывает объекты в пейзаж и размещает персонажей в пространстве. И фигуры действительно становятся объемными, с какой стороны ни посмотри. Promethean AI позволяет любому желающему почувствовать себя демиургом: с таким инструментом можно не только сотворить собственный мир, но и сделать это гораздо быстрее, чем за шесть дней.

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ
РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ
Reddit.com
В игре No Man's Sky с открытым миром нейросеть в автоматическом режиме создает уникальные новые планеты. Само по себе это потрясающе, но по степени детализации пока заметно слабее, чем графика, созданная при участии человека.

Эксперты рассказывают

РобертБагратуни
Сооснователь и ceo студии Mundfish, гейм-директор игры Atomic Heart

Мы вели исследования в области нейросетей, оценивали их потенциал для работы, но на данный момент решили все-таки не вводить их в повседневные пайплайны. Мы убеждены в важности сохранения баланса между технологиями и человеческим творчеством и верим, что, несмотря на потенциальные преимущества нейросетей, наша команда способна достичь успеха без их использования на ежедневной основе. Тем не менее мы продолжаем внимательно отслеживать развитие ИИ и не исключаем возможности его внедрения в будущем.

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ
РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

В любом случае нейросети способны значительно упростить как минимум этап препродакшена проектов. Они позволяют быстрее находить лучшие способы реализации идей и уменьшить общее время разработки. Мы думаем, что скоро многие компании имплементируют подобные инструменты в свой пайплайн в том или ином виде. Помимо того же ChatGPT, помогающего в обработке текстов, мы считаем перспективными множество нейросетевых инструментов. Если для теста или вдохновения нужно сгенерировать изображение, есть Stable Diffusion, Midjourney, Magnific, Automatic1111, Fooocus и плагин Krita AI Diffusion. Особняком стоит FORGE – абсолютно новый, революционный интерфейс для генерации картинок от автора Fooocus. Его «фишкой» является прекрасная оптимизация, прямая работа со слоями изображений и другие интересные функции. Среди инструментов для работы со звуком или голосом можно выделить RVC и ElevenLabs, а для генерации видео – SVD (Stable Video Diffusion) и Runway.

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Если говорить об удачных примерах масштабного применения нейросетей при разработке игр, то вспоминается прежде всего Ubisoft. Этот гигант гейм-индустрии использует для своих проектов нейросеть Ghostwriter, пишущую реплики для NPC. Однако представители Ubisoft подчеркивают, что они ни в коем случае не планируют заменять своих сценаристов, а лишь избавляют их от рутинных задач. Сценарист продолжает играть ключевую роль, просто теперь определенный пласт реплик он генерирует с помощью ИИ, а потом выбирает лучший вариант и, если нужно, редактирует.

СергейСнегирев
Руководитель отдела разработки игр и приложений компании Dobro Games

В прошлом году большинство наших сотрудников начали использовать ИИ на регулярной основе. Художники – для прототипирования концепт-артов и интерфейса, продакт-менеджеры – для работы с документацией и большим количеством данных.

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ
РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Сам я регулярно создаю тестовые прототипы для наших продуктов. Тут главное – хорошо разбираться в предмете, чтобы донести задание до «виртуального программиста». Большую задачу необходимо разбивать на множество маленьких, потому что нейросети тяжело концентрироваться на нескольких вопросах сразу.

Успех применения нейросетей во многом зависит от качества и количества данных, а также от правильного подхода к выбору и настройке архитектуры для каждой отдельной задачи. Я, как гейм-дизайнер, использую ИИ для повседневных мелких задач – когда нужно быстро изобразить прототип в дизайн-документе, собрать шаблон для интерфейса, оперативно найти ошибку в коде, составить список или выдать резюме по большому объему информации.

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Но не всегда все идет гладко. Внедрить искусственный интеллект в пайплайн разработки достаточно сложно: разным специалистам требуются разные нейросети. Процессы надо стандартизировать и отслеживать, сотрудников – обучать. И в любом случае работа, сделанная ИИ, всегда требует приложения рук.

Nvidia
РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Убийца мечты

Самый ужасный вариант применения нейросетей в игровой индустрии – использование их при тестировании. Ведь есть люди, работа которых заключается в том, чтобы играть, попутно выявляя баги и недочеты. И вот эту-то удивительную профессию нейросети уничтожают на наших глазах, справляясь с задачей лучше и быстрее. И куда, скажите на милость, теперь податься тестировщикам игр?

Нейробрат следит за тобой

Известно, что ИИ в играх активно используют для анализа поведения пользователей: это позволяет разработчику сделать игру интереснее. Однако применяют здесь нейросетевые технологии или довольствуются сложными алгоритмическими схемами, неизвестно. Впрочем, даже если нейросетей тут пока нет, их появление лишь вопрос времени.

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

А Steam против

С юридической точки зрения продукты, созданные с помощью нейросетей, можно разделить на две группы: полученные на основе собственной обучающей базы данных или на датасетах из открытых источников. Второе действительно этически небезупречно, поэтому компания Valve, владелец крупнейшего онлайн-магазина игр, требует от разработчиков доказательства того, что нейросети были обучены на их массивах данных. Выглядит такое требование вполне корректно, но есть два нюанса. Во-первых, если компания сама не заявила об использовании нейросетей, доказать этот факт непросто. А во-вторых, ведь и люди творческих профессий опираются на опыт предшественников.

Константин, генеральный директор российской компании по разработке игр:

«Мы часто применяем нейросети для внутренних концептов – набросков, позволяющих точнее донести мысль и передать техническое задание от гейм-дизайнера художнику. Но в саму игру такой контент обычно не попадает. Как правило, мы пользуемся Stable Diffusion, Midjourney, ChatGPT, Glif, Synthesia, Remove BG, Uberduck, Mubert, Gigapixel, MagiScan, Ponzu и 3Dрresso.

 

Нейросети – полезный инструмент, позволяющий трудиться продуктивнее. Однако для компаний-пользователей существует ряд рисков. Полагаю, что работа с нейросетями, которые учатся на контенте без разрешения правообладателей, должна регулироваться специальными соглашениями.

 

Но сейчас ситуация на рынке такова, что тот, кто откажется от современных технологий, проиграет. Крупные студии боятся официально признать, что применяют ИИ, но мы уверены, что им тоже помогают нейросети».