위키득계정 ↗
기술

ZoeDepth

ZoeDepth기술
영문
Zero-shot Transfer by Combining Relative and Metric Depth
명칭
ZoeDepth
학습 구성
상대 깊이 사전 학습과 거리 미세 조정
출력 구성
영역별 metric bins 헤드
ZoeDepth는 상대 깊이의 사전 학습과 실제 단위 깊이의 미세 조정을 결합하는 단안 깊이 추정 방법이다. 여러 환경의 표현을 공유하면서 영역별 깊이 출력 헤드를 사용해 실제 척도의 예측을 다룬다.

일반화와 척도

다양한 사진에서 상대적인 깊이 구조를 배우는 것과 실제 미터 단위의 값을 배우는 것은 다른 학습 목표다. ZoeDepth는 두 접근을 연결한다. 상대 깊이 사전 학습만으로 실제 단위가 자동으로 결정된다는 뜻은 아니다.

영역별 헤드

실내와 야외처럼 깊이 범위가 다른 자료를 하나의 출력 방식으로 처리하기 어려울 수 있다. 영역별 가벼운 헤드와 깊이 구간을 조정하는 모듈을 사용하고 잠재 분류기로 입력을 알맞은 헤드에 보낸다. 여러 모델 구성이 가능하므로 모든 배포본이 동일한 헤드를 갖는 것은 아니다.

범위의 독립 예제

0~10m를 열 구간으로 동일하게 나누면 한 구간의 폭은 1m다. 0~100m를 같은 수로 나누면 10m다. 이는 범위가 달라지면 같은 구간 수의 의미도 달라진다는 예이며 ZoeDepth의 학습된 구간이 균등하다는 주장은 아니다.

전이 성능의 확인

학습에서 보지 않은 자료에 추가 조정 없이 적용하는 경우와 대상 자료에서 다시 학습한 경우를 구분한다. 실제 단위 예측이라도 촬영 환경에 따른 오차는 존재할 수 있다. 깊이 범위와 경계 품질, 가까운 물체와 먼 물체의 오류를 함께 확인한다.

관련 문서

MiDaS / DPT / Depth Pro / Metric3D / Depth Anything V2 / Marigold 깊이 추정