단안 기하 단서를 이용한 가우시안-기반 사실적인 아바타 재구성

초록

최근 Gaussian Splatting (GS)은 미분가능 레스터라이제이션을 통해 고충실도의 3차원 인간 아바타 재구성 및 실시간 렌더링을 가능케한다. 하지만 재구성된 Gaussian들이 실제 3차원 기하표면을 정확히 표현하지 못하고 다른 그래픽스 어플리케이션에 기하 오류를야기한다. 우리는 GS 기반 아바타 재구성의 기하 정확성을 향상시키기 위해 단안 기하학적 단서를 최적화 과정에 활용한다. 구체적으로, 최신 단안 법선 및 깊이 추정 모델을 통해 이미지로부터 단안 기하 단서를 획득하고 이를 3차원 Gaussian들이 표현하는 3차원 표면에 강제하여 실제 표면과 근접하도록 한다. 본 연구에서는 단안 기하 단서의 유효성을 입증하고자 인간 단안시점 영상 데이터셋에서재구성한 Gaussian 모델의 기하 정확성 및 렌더링 품질을 비교한다. 실험 결과, 단안 단서 조건항을 GS 아바타 재구성에 적용했을 때렌더링 품질과 기하 정확성 모두에서 향상된 결과를 확인했다.

키워드