NVIDIA разкрива как DLSS 5 „придумва“ изображението, опирайки се само на 2D кадър и векторите на движение.

Как работи DLSS 5: обяснение от служител на Nvidia

В недавна интервю Джейкоб Фридман (Jacob Freeman) от Nvidia разясни принципа за работа на новата технология за мащабиране на изображения — DLSS 5, която използва изкуствен интелект.

Какво се подават в системата
* 2‑D кадър – обикновено нарисувано изображение.

* Векторите на движение – информация за това как обектите се движат между кадрите.

Няма никакви триизмерни данни: моделът не чете геометрията на сцената, дълбочината, материалите или картите с нормали. Това означава, че DLSS 5 напълно разчита само на 2‑D информация и движение.

Как „разбира“ сцената
* Семантика – ИИ разпознава обекти като коса, тъкан, кожа и условията на осветлението.

* За това е достатъчно само един кадър; моделът не взема предвид металикността, хрупкавостта или други свойства на материалите.

Поради това резултатите понякога могат да изглеждат „непредсказуеми“:
- персонажът получава коса там, където няма;
- се променят чертите на лицето.

Няма никакви промени в базовата геометрия – това е просто визуална интерпретация от AI.

Ограничения и възможности за разработчиците
* Разработчиците могат да регулират интензитета на ефекта, корекцията на цвета, контраста, наситеността и гамата.

* Могат да използват маски, за да изключат определени обекти от обработката.

* Но те не могат директно да променят корекцията на чертите на лицето или да премахнат ефекта „макияж“ – единственият начин е да намалят интензитета, да приложат маска или напълно да изключат алгоритъма.

В крайна сметка лицето се генерира от ИИ, но външният му вид може да се коригира само косвено.