카메라 조건의 모호함
영상 속 물체의 크기는 실제 크기와 거리뿐 아니라 초점 거리에도 영향을 받는다. 여러 카메라의 자료를 그대로 섞으면 이런 관계가 서로 달라 학습을 어렵게 만들 수 있다. Metric3D는 카메라 조건의 차이를 명시적으로 다루는 변환을 사용한다.
투영 크기의 예
핀홀 모델에서 높이 1m인 물체가 10m 떨어져 있고 초점 거리가 500화소라면 영상 높이는 50화소다. 초점 거리만 1,000화소로 바꾸면 100화소가 된다. 물체가 더 크게 보인다는 사실만으로 더 가까워졌다고 단정할 수 없는 이유다.
표준 공간에서 학습하기
서로 다른 카메라의 자료를 표준 카메라 공간에 맞춰 다루면 실제 척도와 카메라 조건의 혼동을 줄일 수 있다. 이 구성은 기존 단안 모델에 결합할 수 있도록 제시된다. 변환을 썼다고 카메라 정보의 오류나 장면의 모든 모호함이 사라지는 것은 아니다.
거리와 공간 복원
깊이와 카메라 정보를 함께 사용하면 영상 위치를 3차원 점으로 옮길 수 있다. 상대 깊이로 만든 모양과 실제 단위의 공간 복원은 구분해야 한다. 미관측 카메라와 환경에서 거리 오차를 확인하고 구조가 시각적으로 자연스럽다는 사실만으로 계측 정확도를 보장하지 않는다.
관련 문서
ZoeDepth / Depth Pro / MiDaS / DUSt3R / MVSNeRF / RAFT-Stereo