Нейросети постепенно становятся частью нашей жизни. В играх с помощью машинного обучения уже достигается большая частота кадров в высоком разрешении. Но что будет если игровые кадры постараться выдать за настоящую съёмки с камеры? Скорее всего, вы сразу увидите детали, которые выдадут видеоигру. Но теперь одна компания обучила нейросеть превращать ролики из GTA 5 в реалистичные кадры.
Три специалиста из Intel Labs опубликовали свою работу Enhancing Photorealism Enhancement. Нейросеть обучили на кадрах с реальных камер и видеорегистраторов, а потом прогнали через неё видео из GTA 5. Но для полноты картины нейросеть также обучили получать из игры данные об освещении, карты объёма и расстояния до объектов. Таким образом нейросеть проводит анализ на множестве данных и только потом подгоняет картинку под реальные кадры.
Нейросеть в проекте добавляет правильные блики, корректирует цвет и контраст, а также следит за освещением и даже травой.
Большинство примеров, представленных Intel Labs, сильно зеленят картинку. Но это неудивительно, потому что нейросеть в основном обучали на роликах из Берлина, а не из солнечной Калифорнии.
В комментариях стали шутить, что так теперь должна выглядеть графика грядущей неанонсированной GTA 6.
Т.д...