Нейронные герои: все о цифровых людях

Начали с создания виртуальных блогеров, потому что это был знакомый рынок. Мы понимали, как их выращивать и продюсировать, но было неясно, кто в здравом уме станет подписываться на 3D-картинки. Наши первые рендеры оказались откровенно стремными, и я сильно сомневался в успехе. Но мы все же сделали несколько рендеров и выложили в Instagram (Социальная сеть признана экстремистской и запрещена на территории Российской Федерации). И пользователи начали подписываться, делиться, общаться с виртуальным персонажем. Интересно, что у старшего поколения была куча претензий к работе: волосы не так отрендерили, кожа что-то не очень. А молодежи, выросшей в экосистеме компьютерных игр, все равно, с кем общаться: с аватарами из Fortnite и League of Legends, с нашими героями или с реальными людьми. Они уже живут в мире синтетического контента. Взять Ольгу Бузову – 99% аудитории ни разу в жизни ее не видели. Она для них лишь образ на экране. Можно еще вспомнить «Generation П» Пелевина, где герой просто взял и оцифровал все правительство.

Какое-то время мы с этой историей поиграли, но потом пришли к тому, что компьютерная графика – долго и дорого. Для каждого аватара нужна команда, хороший 3D-дизайнер и отличный сторителлер. Чтобы расти, делать масштабируемые проекты, придется постоянно нанимать людей. А где люди, там все те же риски. До сих пор проще снимать контент с живым человеком, нежели с 3D-персонажем. Мы живем в эпоху TikTok: 3D-аватары не могут так быстро реагировать на повестку, необходимо постоянно быть на виду, а если каждый день создавать контент в высоком разрешении, то можно разориться. К тому же это физически невозможно: рендеринг, сборка, композинг – вещи непростые. Это работает только в масштабе, когда запускаешь дорогую кампанию с большим охватом или снимаешь рекламный ролик для крутого бренда. Есть вариант делать все в реальном времени на игровых движках, используя костюмы для захвата движений, например Rokoko smartsuit pro, но итоговое качество будет не слишком высоким. Подростки готовы смотреть что угодно, а брендам нужна красивая картинка.

По всем этим причинам мы год назад начали активно инвестировать в машинное обучение. Взяли Алиону Пол (Aliona Pole – это наш синтетический персонаж, который уже участвовал в модных показах), сделали с ней большой датасет, скормили нейронной сети и сделали маску. Это не Deep Fake в чистом виде, потому что Алионы Пол никогда не существовало, у нее нет реального прототипа. А значит, не нужно разрешение на использование чужой внешности, потому что мы ее сами придумываем и генерим.

Так родился новый проект Malivar.Studio – создание несуществующего лица по заданным параметрам, замена нейросетями на видео реального лица нашей маской и даже модификация голоса. Сейчас сервис работает так: приходишь на Malivar.Studio, создаешь желаемое лицо, закрепляешь его за собой и дальше просто генеришь контент. Например, наша Алиона Пол в TikTok полностью нейронная. Программ по замене лица много, но получить хороший Deep Fake только с помощью нейросети пока не удается – нужна доработка вручную. Это может стоить тысячи долларов. Все качественные дипфейки создаются долго и дорого. А мы предлагаем автоматизированный сервис для бизнеса.

На нейросетях мы тренируем пару – пользователя и его маску. Здесь возможны два варианта. Первый – когда у пользователя есть право на чье-то реальное лицо и он хочет это лицо надеть на себя как маску: «Я подписал контракт с таким-то артистом и буду играть его. Вот артист, вот я». Мы снимаем два минутных ролика с участием заказчика, загружаем их в нейросеть, обучаем пару и даем доступ в личный кабинет. После этого пользователь может загружать свое видео и обрабатывать его сам. Руками ничего собирать не надо.

Второй вариант – когда человек хочет примерить маску какого-то синтетического героя. Мы предлагаем множество версий, пока заказчик не скажет: «Вот это!» Тогда мы забираем маску из базы и отдаем клиенту. Сейчас на обучение пары требуется 10 дней, но новая версия, которая появится летом, будет справляться с этой задачей за минуты.

Пока наш сервис позволяет изменять только лицо, но не всю голову. Условно говоря, уши персонажа на видео останутся такими же, как у клиента, мы их не дорисовываем. Если в ролике повернуть голову, это станет заметно. Но мы уже работаем над проблемой.

Та же Алиона Пол существует и полностью в цифровом виде. Сейчас для таких героев даже нет точного названия: аватар, персонаж, нейронный герой, синтетический артист? Спрос на них возник во время локдауна, когда рекламные съемки с живыми моделями попали под запрет. Компания стала получать запросы на цифровые модели и одежду – а мы делали и то и другое, цифровая одежда у нас была изначально: аватаров же нужно во что-то одевать. Мы тогда поработали во множестве модных показов: оцифровали коллекцию Алены Ахмадуллиной, сделали проекты с AliExpress, Fakoshima, поучаствовали в подготовке Mercedes-Benz Fashion Week, которая проходила онлайн.

Цифровой рынок сейчас сильно изменился. Еще в 2018 году, предлагая виртуальных аватаров крупным компаниям, мы слышали: «А что это и зачем?» Сегодня уже ни у кого таких вопросов не возникает. Спрашивают о другом: «Насколько быстро сделаете? Сколько стоит? Как масштабировать?» Как правило, такие проекты выполняются с готовыми аватарами – по сути, мы виртуальное модельное агентство. Первый контракт Алионы Пол, где она рекламировала обувь, стоил 10 тыс. руб. Теперь ее контракты с брендами оцениваются в десятки тысяч долларов. Причем Алиона не столько модель, сколько инфлюенсер: она эксперт по цифровой моде, ее постоянно зовут участвовать в конференциях, она даже была в американском Forbes.

Но можно сделать персонажа и под заказ. Например, недавно в Malivar.Studio обратилась китайская медиакорпорация – им нужна была русская девушка, голубоглазая блондинка, которая окончила китайский университет и свободно говорит на двух языках. Мы сделали несколько вариантов на выбор, заказчики были в восторге.

Мы начали с виртуальных блогеров, а пришли к виртуальным талантам. Сейчас основной продукт компании – синтетически сгенерированные аватары. Мы даем клиентам возможность самим придумать героев и самостоятельно, уже без нашего участия, создавать с ними контент.

Теперь мы собираемся превратить эти образы в цифровые активы. Сгенерировали, записали на блокчейне – а дальше пусть пользователь распоряжается этим NFT-токеном как хочет: оставит себе, сдаст в аренду, продаст. Новый хозяин может прийти на нашу платформу и дальше создавать контент с купленным аватаром. Человека продать нельзя, а образ – можно. И он растет в цене, ведь создатели регулярно в него инвестируют. Malivar.Studio – первый шаг на пути к такому будущему.