엔비디아(CEO 젠슨 황)는 미국 로스앤젤레스에서 열린 시그라프 2019(SIGGRAPH 2019)에서 실시간 렌더링을 기반으로 달 탐사를 직접 체험해볼 수 있는 데모를 공개했다.

아폴로 11호의 달 착륙 50주년을 맞아 엔비디아는 RTX 상호 기술 기반 데모를 통해 참가자들이 달 탐사를 체험할 수 있도록 했다. 엔비디아 부스 방문객들은 스크린에서 극사실주의 렌더링 작업으로 구현한 아폴로 11호와 우주비행사의 달 착륙 장면을 확인할 수 있다.

부스에 설치된 카메라 한 대가 사용자의 움직임을 포착해, 이를 3D 렌더링한 실제 우주비행사의 움직임에 연결한다. 이러한 상호 데모를 제작하기 위해서 이전에는 특수 수트와 여러 대의 카메라, 정밀 센서 등이 필요했으나, 엔비디아 리서치팀이 디자인한 행동 추정 기술(pose estimation technology)을 사용하면 참가자와 기성용 웹캠이면 충분하다.

실시간 레이 트레이싱 기술을 이용한 디테일한 렌더링 작업과 옴니버스(Omniverse: 2D 및 3D 제품 파이프라인을 간소화하는 공개 협력 플랫폼)를 함께 가동하면 참가자의 사실적인 3D 이미지를 투영할 수 있게 된다. 이를 통해 참가자는 실제 우주 공간에서 달 탐사를 하는 우주비행사가 되는 경험을 할 수 있다.

엔비디아의 AI 기술로 재현되는 달 탐사
사람들의 외형이 다르고, 사물과 오버랩되거나, 인체의 움직임이 복잡하기 때문에 사람의 움직임을 정확히 포착하는 것은 매우 어려운 일이었다. 이러한 작업을 수행하기 위해서 많은 카메라, 센서가 장착된 전신 수트, 사람의 움직임을 정확하게 감지하고 3D를 구현하기 위한 보정 등 대규모 작업이 필요했다.

엔비디아 리서치팀은 최첨단 기술 개발을 통해 단일 2D 비디오 피드로 추출한 인체 움직임과 포지션을 3D로 재구성하는 데 성공했다. 행동 추정 기술과 함께 RTX GPU의 텐서 코어가 AI 추론 속도를 높여 인체 움직임을 인식한다. 이러한 정보는 해석 작업을 거쳐 옴니버스 렌더러(Omniverse renderer)로 전달돼 정밀한 인체 움직임을 3D 우주비행사의 움직임에 연결하는 데 사용된다.

RTX 기술로 재현된 달 탐사 체험은 시그라프 2019의 엔비디아 부스 1303과 1313에서 확인할 수 있다. 보다 자세한 내용은 시그라프 스케줄 페이지에서 확인할 수 있다.