이차원 단서 밖의 공간
영상의 경계 상자와 문장만으로는 물체 사이의 깊이 관계를 충분히 배우기 어려울 수 있다. EgoDTM은 일인칭 영상 표현에 공간 정보를 추가하는 학습을 다룬다.
추정 깊이로 학습하기
깊이 추정 모델이 만든 지도를 경량 디코더의 학습에 사용한다. 이 지도는 직접 측정한 삼차원 정답과 다르며 깊이 모델의 오류를 포함할 수 있다.
영상과 설명의 보강
여러 기반 모델을 결합해 짧은 캡션에 손·물체 단서를 더한다. 공간 인지 사전 학습과 영상·텍스트 대조 목적을 함께 사용해 표현을 만든다.
후속 과제의 검증
공간 정보를 학습했다고 모든 삼차원 관계를 정확히 이해하는 것은 아니다. 공간 관련 과제와 일반 영상·언어 과제의 성능을 구분하고 의사 주석의 영향을 함께 확인해야 한다.