목표 이미지로 학습하기
먼저 사진이 촬영된 위치를 찾는 ImageNav 과제에서 에이전트를 학습한다. 목표 이미지를 의미 임베딩으로 표현해 표지 없는 삼차원 환경의 경험을 활용한다.
언어 목표의 같은 공간
학습 뒤에는 자연어 목표를 같은 다중 모달 공간으로 투영한다. 이미지에서 학습한 목표 표현과 언어가 연결되면서 물체 이름이나 설명으로 이동을 지시할 수 있다.
복합 지시
연구는 방을 명시한 물체 지시와 여러 물체를 통해 방을 추론할 수 있는 지시도 평가했다. 단순 범주 라벨뿐 아니라 추가 문맥이 있는 목표를 다루는 설정이다.
제로샷의 기준
여기서 제로샷은 ObjectNav의 보상이나 시연 없이 물체 목표 이동을 수행한다는 뜻이다. 이미지 목표 이동의 학습 경험까지 전혀 사용하지 않는 방법과는 구별해야 한다.