영상으로 깊이 학습하기
깊이와 카메라 움직임을 추정하면 다른 시점의 영상을 현재 시점으로 옮겨 비교할 수 있다. 이 영상 차이를 학습 신호로 사용한다. 직접 측정한 화소별 깊이를 쓰지 않는 경우에도 카메라와 장면에 관한 가정 및 영상 정보는 필요하다.
가림과 재투영
어떤 점은 이전 프레임에서는 가려지고 다음 프레임에서는 보일 수 있다. 모든 시점의 재투영 오차를 무조건 평균하면 가림의 영향을 받을 수 있다. 최소 재투영은 여러 후보의 오차 중 더 적절한 값을 활용해 이런 문제를 다룬다.
최솟값의 독립 예제
두 재투영 후보의 오차가 0.1과 0.9라면 평균은 0.5지만 최솟값은 0.1이다. 가려진 후보의 큰 오차가 평균에 영향을 주는 상황을 설명하는 계산이다. 작은 색 오차가 반드시 올바른 깊이를 뜻하지는 않으며 반복 무늬에서도 모호함이 생길 수 있다.
가정이 맞지 않는 화소
자동 마스킹은 카메라 운동 가정에 맞지 않는 학습 화소를 제외하도록 돕는다. 전체 해상도에서의 다중 규모 표본 처리도 영상 오류를 줄이려는 구성이다. 움직이는 물체와 정지 카메라, 반사 영역을 따로 확인하고 단안 영상만으로 학습한 깊이의 실제 척도도 구분해야 한다.
관련 문서
ManyDepth / MiDaS / DPT / Depth Anything / RAFT 광류 추정 / MVSNeRF