구간과 분포를 함께 다루기
깊이 구간을 잘 정하는 일과 각 화소가 어느 구간에 얼마나 대응하는지 예측하는 일은 연결되어 있다. BinsFormer는 이 두 구성의 상호작용을 중요하게 다룬다. 구간만 세밀하게 나눠도 화소별 분포가 틀리면 올바른 깊이를 얻기 어렵다.
분포 오차의 예
구간 중심이 1m와 9m일 때 가중치 (0.9,0.1)의 평균은 1.8m다. 같은 중심에서 가중치가 (0.1,0.9)로 바뀌면 8.2m다. 구간을 그대로 두어도 화소별 예측이 결과를 크게 바꾼다는 독립 계산이며 실제 모델의 평가 결과는 아니다.
여러 규모의 디코더
다중 규모 디코더로 공간 기하 정보를 다루고 거친 깊이 추정에서 세밀한 결과로 진행한다. 추가 장면 이해 질의는 보조 환경 분류에서 정보를 학습하도록 돕는다. 장면 범주를 맞추는 것과 각 물체의 거리를 정확히 측정하는 것은 다른 목표다.
경계와 범위의 확인
큰 면의 깊이가 자연스러운지뿐 아니라 물체 사이 경계와 작은 구조도 확인한다. 학습 자료와 평가 영상의 깊이 범위가 다를 때 일반화가 달라질 수 있다. 다른 방법과 비교할 때에는 출력 해상도와 깊이 범위 및 추가 학습 조건을 맞춰 살펴본다.
관련 문서
AdaBins / ZoeDepth / DPT / MiDaS / Metric3D / Depth Anything V2