LiTo: 3D 표면 광원 필드 토큰화 기술 제안

LiTo는 객체의 3차원 형상과 시점에 따라 달라지는 외관을 함께 모델링하는 3D 잠재 표현 방식을 제안한다. 기존 연구들은 주로 3D 형상 재구성이나 시점과 무관한 확산 외관 예측에 집중해 현실적인 시점 의존 효과를 포착하는 데 한계가 있었다. LiTo는 RGB-깊이 이미지가 표면 광원 필드의 샘플을 제공한다는 점을 활용해, 이 표면 광원 필드의 무작위 하위 샘플들을 압축된 잠재 벡터 집합으로 인코딩한다. 이를 통해 형상과 외관을 통합된 3D 잠재 공간 내에서 표현할 수 있으며, 시점에 따른 외관 변화를 재현할 수 있다.
출처: Apple
요약번역: 미주투데이 서현진 기자