생성 모델의 지식 활용
다양한 이미지를 학습한 생성 모델은 장면과 물체의 외관에 관한 사전 지식을 담을 수 있다. Marigold는 이를 깊이 추정이라는 영상 분석 작업으로 옮긴다. 원래 모델이 사진을 생성할 수 있다는 사실만으로 정확한 거리 센서가 되는 것은 아니다.
합성 자료의 학습
정답 깊이가 있는 합성 장면을 사용해 영상에 조건화된 깊이를 예측하도록 미세 조정한다. 새로운 환경에서의 일반화는 사전 학습 지식과 이 조정 과정의 영향을 받는다. 합성 자료에 정확한 라벨이 있어도 실제 영상의 모든 영역이 정확히 복원된다는 보장은 없다.
아핀 변환의 예
세 위치의 출력 (1,2,4)에 양의 척도 3을 곱하고 5를 더하면 (8,11,17)이 된다. 숫자는 달라져도 이러한 전역 변환을 허용하는 비교에서는 같은 상대 구조로 볼 수 있다. 실제 m 단위 거리와는 다른 해석이며 출력 규약에 맞춰 사용해야 한다.
품질과 실행 조건
경계가 선명한지와 깊이 순서가 맞는지를 따로 확인한다. 확산 기반 추론은 실행 설정에 따라 비용과 결과가 달라질 수 있다. 한 번의 출력이 그럴듯하다는 사실만으로 숨은 면의 실제 형상을 확정하지 않으며 필요한 경우 실제 깊이 관측과 비교한다.
관련 문서
Depth Anything / Depth Anything V2 / MiDaS / DPT / Depth Pro / 확산 모형