엔비디아(CEO 젠슨 황)는 레메디 엔터테인먼트(Remedy Entertainment)와 505 게임즈(505 Games)가 새롭게 출시한 <컨트롤(Control)>에 레이 트레이싱과 DLSS를 도입해 초고해상도(super resolution)를 구현했다고 발표했다. 이를 통해 게이머들은 높은 프레임에서도 높은 시각적 충실도(visual fidelity)와 성능을 경험할 수 있게 됐다.

레이 트레이싱, 물리(physics), 애니메이션 및 고해상도 디스플레이는 GPU 컴퓨팅 요구를 기하 급수적으로 증가시킨다. 엔비디아는 각 픽셀에 컴퓨팅 성능을 집중시켜 게이머들이 깨끗한 화질을 즐길 수 있도록 초고해상도 기술을 도입했다.

초고해상도 이미지 처리 방법
초고해상도는 이미지의 디테일과 더불어 프레임 간 안정성을 유지하는 것이 중요하다. 이미지가 선명할수록 유저들은 노이즈, 희미함, 일시적인 아티팩트를 발견하기 쉽다. 엔비디아는 연구 과정에서 특정 일시적 아티팩트가 이미지의 디테일을 유추하는데 사용될 수 있다는 것을 발견했다.

이러한 인사이트를 바탕으로 엔비디아는 아티팩트를 통해 최종 프레임의 디테일을 재현하는 새로운 AI 연구 모델을 개발하기 시작했다. 이러한 DLSS에 대한 이미지 처리 방식은 컨트롤 게임에 통합됐으며, 이는 최대 75% 더 빠른 프레임 속도를 제공한다.

딥러닝: 초고해상도의 미래
딥러닝은 새로운 차원의 초고해상도를 보장한다. 과거 엔지니어들은 자율주행 자동차를 구현하기 위해 자동차가 맞닥뜨릴 수 있는 모든 시나리오에 따라 직접 코딩해야만 했다. 하지만 이러한 접근은 너무 많은 변수가 있었기 때문에, 이를 해결하기 위해 인공지능의 도입이 반드시 필요했다.

딥러닝 기반의 초고해상도는 슈퍼컴퓨터를 통해 매우 낮은 프레임과 픽셀당 64개의 샘플을 기반으로 오프라인에서 렌더링된 수만 개의 영상 시퀀스를 통해 학습된다. 그리고 딥 뉴럴 네트워크(Deep neural network)들은 이미지를 인식하도록 훈련되며, 이러한 네트워크들은 낮은 해상도와 적은 샘플 수의 이미지들부터 재구성된다. 그리고 저해상도 프레임에서부터 불완전한 정보들을 통합해, 흔들림이나 반짝임, 또는 흐림 없이 매끄럽고 선명한 영상을 만든다.

아래 언리얼 엔진 4(Unreal Engine 4) 내 산불 영상을 통해 이미지 처리 알고리즘과 AI 연구 모델의 차이점을 확인할 수 있다.