서로 다른 깊이 자료
실내 센서와 야외 사진, 합성 장면은 범위와 오차 특성 및 주석 방식이 다를 수 있다. 한 자료에만 맞춘 모델은 다른 환경에서 약해질 수 있다. MiDaS의 접근은 이런 차이가 있는 자료를 함께 활용할 수 있는 학습 도구를 다룬다.
척도를 구분하는 예
어떤 출력이 두 물체에 1과 2를 부여하고 다른 출력이 10과 20을 부여하면 순서와 비율은 같아도 숫자의 척도는 다르다. 상대적인 깊이 구조와 미터 단위의 거리는 다른 정보다. 실제 출력이 깊이인지 역깊이인지에 따라서도 수치 해석은 달라진다.
자료 혼합의 학습
깊이 범위와 척도의 변화에 견고한 목적 함수 및 여러 출처를 결합하는 다목적 학습을 활용한다. 인코더의 보조 작업 사전 학습도 중요하게 다룬다. 자료를 많이 섞는다는 사실만으로 주석의 오류나 모든 촬영 환경의 차이가 없어지지는 않는다.
제로샷의 의미
학습에서 보지 않은 자료에 추가 조정 없이 적용해 전이를 평가한다. 이는 모델이 전혀 학습되지 않았다는 의미가 아니다. 상대 깊이의 모양이 자연스러워도 실제 거리 측정으로 바로 사용하기보다는 모델의 출력 규약과 척도, 적용 환경에서의 오차를 확인해야 한다.
관련 문서
DPT / DUSt3R / MVSNeRF / RAFT-Stereo / IGEV-Stereo / 비전 트랜스포머