비주석 자료를 쓰는 의미
영상에 사람이 깊이를 표시하지 않았더라도 자동 주석을 만들면 학습 목표로 사용할 수 있다. 따라서 비주석 영상을 활용한다는 것은 학습 중 아무 깊이 목표도 없다는 뜻이 아니다. 자동 주석에는 이를 만든 모델의 오류가 포함될 수 있다.
자료와 의미 정보
자료 증강으로 학습 문제를 더 어렵게 만들고 보조 감독을 통해 사전 학습된 인코더의 의미 정보를 이어받는다. 많은 영상의 외관과 장면 유형을 접하게 하는 것이 중요하다. 자료 수의 증가와 각 깊이 라벨의 실제 정확성은 구분해야 한다.
가짜 정답의 예
교사 모델이 같은 가는 막대를 여러 영상에서 배경으로 잘못 추정하면 영상이 많아져도 그 오류가 학습 목표에 반복될 수 있다. 이는 자동 라벨의 양만으로 품질이 보장되지 않는다는 예다. 실제 오류가 어떤 형태인지는 별도의 검증 영상으로 확인해야 한다.
상대 깊이와 거리 모델
추가 조정 없이 새로운 자료에 적용하는 성능과 미터 단위 라벨로 미세 조정한 모델의 성능은 다르다. 상대 깊이의 순서가 자연스러워도 실제 거리 측정값이라고 단정하지 않는다. 사용할 모델의 출력 규약과 촬영 조건을 확인하고 경계 및 작은 구조의 품질도 살펴본다.
관련 문서
Depth Anything V2 / MiDaS / DPT / DUSt3R / MVSNeRF / 비전 트랜스포머