В процессе рендеринга игровые движки создают промежуточные буферы, известные как «G-буферы». Эти «G-буферы» обычно включают данные о расстоянии между объектами в игре и камерой, а также данные об освещении, геометрии и текстурах. Основное нововведение алгоритма Intel в сравнении с другими в том, что исследователи использовали эти промежуточные данные для обучения ИИ и улучшения выходных изображений.
Intel с помощью машинного обучения сделала GTA V невероятно реалистичной
Исследователи Intel использовали искусственный интеллект машинного обучения, чтобы сделать Grand Theft Auto V невероятно реалистичной.
Intel
Улучшить графику в игре помогли данные с видеорегистраторов, которые исследователи взяли на сайте Cityscapes
Исследователи также использовали фотографии немецких улиц, собранные из видеорегистраторов автомобилей для системы Cityscapes (аналог Google Maps). На них обучалась нейросеть.
Предыдущие попытки совместить реальные изображения с методами машинного обучения для улучшения графики часто приводили к таким проблемам, как генерация дополнительных нежелательных изображений (например, предметы, зависающие в воздухе) и снижение скорости работы самой игры. Использование «G-буферов» решило эти проблемы.
«Вместо того, чтобы пытаться синтезировать изображения, наш подход улучшает уже существующие изображения, интегрирует информацию о сцене для создания геометрически и семантически согласованных изображений и не требует аннотации реальных данных», – поясняют исследователи.
Игра выглядит настолько реалистично, что на мгновение создается впечатление, что это не GTA V, а видео с реальных городских улиц.