깊이와 포인트맵
깊이 영상은 화소에 깊이 값을 연결한다. 포인트맵은 화소에 대응하는 3차원 좌표를 연결해 공간 위치를 직접 표현한다. DUSt3R는 영상 쌍의 복원을 이런 좌표 예측 문제로 다루며 트랜스포머 인코더와 디코더를 사용한다.
공통 좌표계의 예
한 좌표계의 점 (1,0,0)을 x축으로 2만큼 이동한 좌표로 표현하면 (3,0,0)이 된다. 같은 물리적 점도 기준 좌표계에 따라 숫자가 다르다. 여러 영상 쌍에서 예측한 점을 합칠 때 기준을 맞춰야 하는 이유를 설명하는 예다.
카메라 정보의 위치
카메라 내부 매개변수와 자세를 사전 조건으로 요구하지 않는 구성이지만 기하 정보 자체를 사용하지 않는 것은 아니다. 예측한 포인트맵에서 깊이, 영상 대응과 카메라 관련 정보를 얻을 수 있다. 미리 보정하지 않는 것과 어떤 촬영 조건에서도 오차가 없다는 주장은 다르다.
정렬과 복원의 한계
두 장을 넘는 영상에서는 쌍별 결과를 공통 기준으로 맞추는 전역 정렬을 사용한다. 학습된 사전 지식이 들어가므로 관측이 부족한 영역의 결과는 추정이다. 위치의 일관성과 대응 오차를 확인하고 별도의 길이 기준 없이 실제 미터 단위가 확정된다고 판단하지 않는다.