Цифровая лихорадка: почему все внезапно заговорили о метавселенных и чем нам грозит переезд в киберреальность?

Бессменный организатор CG Event и главный евангелист метавселенных в нашей стране Сергей Цыпцын уверен, что мы давно живем в метавселенной. Мы проводим много времени в интернете и уже сильно оцифрованы. Телефон считает, сколько шагов мы прошли, записывает наш маршрут, отслеживает контакты, покупки, фото и видео; фитнес-браслет знает все про калории, эмоции, пульс, сон, стресс, альфа-ритмы. Мы попадаем в объективы тысяч видеокамер, наши документы загружены в сотни баз. И все эти данные непрерывно анализируются множеством разных систем с искусственным интеллектом. По сути, мы уже живем в цифровом мире. Осталось натянуть на эту информацию цифровую оболочку – и мы получим ту самую метавселенную.

Как и положено евангелисту, Сергей Цыпцын верит в единую метавселенную: их не может быть много, как не может быть много интернетов. Условно говоря, на дворе сейчас ранняя античность с кучей разных богов: здесь не только каждый IT-гигант, но и средние компании пытаются создать свой виртуальный мир. Собственную метавселенную запускает даже якутская студия MyTona. «Метавселенная едина и уникальна, – проповедует Цыпцын, – мир один, и вселенная одна». Что на самом деле верно: для создания метавселенной, в которой мы могли бы жить не только в виде данных и цифр, требуются колоссальные ресурсы, которых нет ни у отдельных компаний, ни даже у целых государств. Считается, что если бы ведущие технологические гиганты объединили свои силы, то сумели бы запустить метавселенную лет через пять. Например, Amazon может предоставить свои сервера, Neuralink – разработать нейроинтерфейсы, Facebook (Социальная сеть признана экстремистской и запрещена на территории Российской Федерации) – дать очки дополненной реальности и периферию, Nvidia – аппаратную часть и блокчейны, а Unity и EpicGames – поделиться трехмерными движками. Проблем на пути к созданию метавселенной великое множество, и их решение загрузит высокооплачиваемой работой миллионы людей.

Основатель компании Malivar Валерий Шарипов, главный в стране по аватарам, рассказал, как сегодня делают синтетических людей. Мы живем в мире соцсетей, информационного фастфуда, где каждый человек с телефоном – собственное СМИ. Наступает время synthetic media, когда часть контента генерируется алгоритмами и нейронными сетями. В эпоху метавселенных реального человека поместить в этот канал коммуникации сложно: он просто не успевает. Делать трехмерную модель живого человека тоже не выход. С одной стороны, это дико дорого, и позволить себе такое могут разве что киностудии. С другой – человеческую внешность нельзя продать, она неотчуждаема и всегда принадлежит своему владельцу.

Решение – генерировать никогда не существовавших людей. У искусственно созданных аватаров есть уникальная внешность, права на которую можно передавать. Технологии позволяют наделить персонажа уникальными голосом, манерой двигаться, мимикой. И синтетического человека можно раскрутить: например, в странах Азии уже сложилась культура виртуальных идолов – певцов, ютуберов, продавцов товаров.

Если такого персонажа хорошо прокачать и подобрать внушительную фан-базу, его цена может взлететь до небес. Он идеален, в частности, для видеокоммерции, которая очень популярна в Китае. Можно придумать образы под каждый конкретный рынок, а если добавить к ним уже существующие системы автоматического перевода, то такой персонаж сможет продавать товары по всему миру. И его самого можно легко продать со всей аудиторией. По сути, это принципиально новый вид NFT-токенов, которые сильно отличаются от нынешних статичных картинок.

Однако стоимость создания такого персонажа с помощью классических 3D-технологий очень высока. Сейчас Malivar использует недорогой метод, идеально подходящий для соцсетей: берут лицо синтетического персонажа и «натягивают» на живую модель. Но технологии не стоят на месте – уже проявились нейронные системы, способные по голосу воспроизводить мимику и движения губ; наверняка они вскоре научатся и реалистично оживлять персонажей. Однако само понятие синтетических людей не исчезнет. Для нового поколения нормально общаться с аватарами и ботами, это их мир. Правда, у молодежи нет денег – зато есть вычислительные мощности. И они могут донатить ими, чтобы персонаж мог творить свои миры.

Еще одна интересная проблема метавселенных – распознавание голосов. Изображение не просто не сообщает, что чувствует реальный человек, но зачастую даже искажает восприятие: люди умеют маскировать свое состояние мимикой и вербальной коммуникацией. А вот голос прекрасно передает эмоции – собеседники хорошо их чувствуют, даже когда говорят по телефону.

Нейросети уже умеют изолировать голос, а программа для блогеров Descript при помощи плагина Studio Sound позволяет отказаться от записи в студиях – она распознает голос, потом убирает любой шум вокруг и в конце достраивает недостающие гармоники. Мало того, когда два человека говорят из одной точки, мы их не понимаем. Люди способны распознавать более двух голосов одновременно, только когда источники звука располагаются в разных местах. Даже разнесение собеседников по правому и левому каналу помогает их понимать. Но как быть, если говорящих пятнадцать? Стереозвук тут не поможет. У компании High Fidelity есть решение пространственного звука, где источники разносятся и голоса становятся понятными. Но это в кино. А в виртуальном мире такая операция должна выполняться автоматически. И в некоторых играх это уже работает.

Для создания метавселенной нам предстоит оцифровать весь мир. Тридцать лет назад, будучи студентом, я «трехмерил» мебель – и обычный стул занимал у меня весь день. Современные нейронные системы круглосуточно «трехмерят» всю планету – например, компания CityNeRF делает это по спутниковым снимкам. Детали, которые не видны из космоса, можно спокойно добавлять по кадрам из соцсетей: люди уже побывали во всех закоулках нашей планеты и сфотографировали все в любых ракурсах. Невероятные чудеса творят лидары, которые сейчас встраиваются в iPad и iPhone, а скоро будут встраиваться везде, – они с успехом заменяют профессиональные сканеры ценой в десятки тысяч долларов. Вполне возможно, на улицах появятся специальные будки: зашел туда на секунду, заплатил немного денег – и получил идеальный собственный аватар.

Но конечно, останется и работа для высококлассных мастеров. Они будут вручную изготавливать очень дорогие артефакты, одежду, мебель, украшения и продавать их как NFT в специализированных бутиках – недаром производители предметов роскоши уже бронируют места в метавселенных.

Для прочих товаров возникнут рынки и биржи готовых персонажей, массовой одежды, домов, улиц и даже целых миров – метавселенной будет всего мало. 3D-моделеры будут жить как музыканты – один раз удачно смоделировал, потом всю жизнь продаешь. Но им придется состязаться с ИИ – генеративными системами, создающими модели так же, как сейчас они пишут треки для супермаркетов. Я видел сгенерированные бесконечные миры, словно вышедшие из психоделических трипов, – соревноваться с ними уже сейчас практически невозможно.

Определенно, уже в ближайшем будущем вырастет спрос на специалистов, задействованных в создании и анимации 3D-объектов для метавселенных. Впрочем, уже сегодня производители «железа» и программных продуктов стараются идти на шаг впереди существующих потребностей и максимально ускорить рутинный процесс создания трехмерного контента. К примеру, совсем недавно NVIDIA завершила бета-тестирование своего принципиально нового продукта NVIDIA Omniverse и открыла его для всех желающих. Это своего рода продвинутое облако, в котором можно работать целой командой одновременно. Даже простейшая 3D-сцена на самом деле требует участия множества специалистов и использования разного софта. Учитывая большие объемы информации, высокую ресурсоемкость и зачастую географическую распределенность, легко понять, что командная работа в существующей реальности сильно затрудняется.

В NVIDIA Omniverse над одним и тем же объектом могут работать сразу несколько человек. Причем их действия будут отражаться моментально на финальном объекте – точно так же, как отражаются исправления в облачных текстовых документах. К примеру, уже сейчас Omniverse используют создатели легендарного мультсериала «Южный парк»: платформа помогает им сократить время на производство.

Впрочем, среда NVIDIA Omniverse хороша не только возможностью кооперативной работы, но и наличием большого количества готовых инструментов (в том числе с применением алгоритмов искусственного интеллекта), которые легко использовать. Вот лишь некоторые из них.

Omniverse Replicator позволяет фактически «оцифровать» реальные объекты, переведя их в виртуальный мир. Сфера применения такой цифровой копии может быть огромна. Например, именно на такой модели легко обучать персонал производств и более сложных предприятий (таких, как АЭС или буровая платформа), а автономному транспорту будет безопаснее нарабатывать практику именно в виртуальном пространстве, в точности совпадающем с реальным.

Omniverse AUDIO2FACE использует нейросети для создания реалистичной лицевой анимации на основе всего лишь аудиодорожки. Ведь виртуальный персонаж в метавселенных должен быть максимально похож на свой реальный прообраз (или как минимум копировать поведение человека).

Omniverse RTX Renderer помогает визуализировать фотореалистичные сцены с трассировкой лучей на основе технологий RTX. То, над чем так долго трудились разработчики игр, станет доступным даже небольшим командам без серьезных технических скиллов.

Благодаря простым и понятным инструментам создавать качественный 3D-контент смогут не только профи. Для Дженнифер Масиас (Yenifer Macias) из Колумбии 3D-анимация вообще была хобби. Но теперь она всерьез задумалась сделать из увлечения карьеру. Все потому, что на ту же работу уходит гораздо меньше времени. Творческие эксперименты с объектами и освещением (а как без них новичку) с переходом в Omniverse не требуют долгой обработки и ожидания. Можно видеть изменения практически мгновенно и, если надо, сразу вносить корректировки.

Вот еще один пример уже от профессионала. Андерсон Рор (Anderson Rohr), 3D-разработчик из Бразилии, занимающийся созданием самого разного контента от свадебных роликов до кинематографической анимации, уже успел оценить преимущества Omniverse. До того, как он подключился к платформе, не раз сталкивался с несовместимостью программного обеспечения, а рендеринг некоторых моделей занимал до 300 часов. Теперь весь софт работает идеально, а рендеринг происходит в режиме реального времени.

Время разрозненных программных продуктов постепенно уходит: вместо них появляются глобальные среды типа Omniverse. Но производство 3D-объектов все еще требует значительных ресурсов. Так что создать свой аватар, близкий к реальности, с офисного ПК пока не получится.

Для работы в Omniverse нужен, если так можно сказать, совместимый компьютер. Не трудно предположить, что ключевым компонентом такой системы являются графические процессоры NVIDIA RTX – они поддерживают все программные инновации компании. По умолчанию любой компьютер или ноутбук с дискретной графикой RTX будет совместим с программной платформой Omniverse. Но это не всё. Чтобы не заставлять пользователей анализировать другие характеристики систем (производительность процессора, объемы памяти, качество экрана), NVIDIA предложила своего рода стандарт для создателей визуального контента – сертификацию RTX Studio. Помимо графики RTX, сертифицированные ПК и ноутбуки Studio оснащены процессорами Intel Core i5, i7, i9 или AMD Ryzen 5, 7 и 9, оперативной памятью от 16 гигабайт и SSD объемом от 512 гигабайт, откалиброванными дисплеями со 100%-м покрытием RGB и Delta E < 2. Даже толщина лимитирована – не больше 2 см.

К чему такие сложности? Ноутбук с сертификатом RTX Studio заметно ускоряет большинство приложений для работы с 2D- и 3D-графикой. Ведь графика RTX изначально «заточена» под задачи создателей визуального контента. В ней есть, например, RT-ядра, которые отвечают за трассировку лучей и ускоряют path-tracing рендеринг. Есть тензорные ядра: они задействуются в задачах с использованием искусственного интеллекта: это могут быть наложение сложных масок, увеличение детализации, отслеживание объектов...

Впрочем, для создания контента в Omniverse уже совершенно не нужно вникать в физику работы «железа». Достаточно просто выбрать ноутбук с сертификацией NVIDIA RTX Studio – это гарантирует соответствие характеристик рабочей машины требованиям софта, с которым придется иметь дело.

В свое время появление патефонных пластинок навсегда изменило музыку: исчезли песни, которые звучали дольше пяти минут – времени воспроизведения первых дисков. Сегодня соцсети определяют пристрастия молодежи: вкусы нового поколения формируются не фильмами, а короткими роликами из TikTok. Метавселенные повлияют на нас еще радикальнее. Уже сейчас нейросети анализируют рентгеновские снимки лучше живых рентгенологов. Скоро мы начнем носить одежду со встроенными медицинскими датчиками, и метавселенная, используя гигантскую базу накопленных данных, будет ставить нам диагнозы, рекомендовать диету и заставлять заниматься спортом. Есть и плохие новости. Нейросети сумеют заменить не только врачей. Они почти все смогут делать лучше нас: торговать на криптобирже, писать тексты, оцифровывать миры и даже заниматься сексом. И нам как-то придется научиться жить с ними в общей метавселенной. Хотя, если верить Сергею Цыпцыну, мы уже живем в ней.