이력을 직접 표현하기
이전 방문과 행동을 하나의 순환 상태로만 유지하는 방식과 달리 긴 관측 이력을 다중 모달 결정에 넣는다. 긴 경로에서 이미 본 정보를 활용하는 것이 주요 목적이다.
영상에서 시간 관계로
먼저 개별 영상을 비전 트랜스포머로 인코딩한다. 이어 파노라마 안 영상들의 공간 관계를 표현하고 마지막으로 과거 파노라마들 사이의 시간 관계를 다룬다.
다음 행동의 학습
텍스트와 이력 및 현재 관측을 함께 사용한다. 단일 단계 행동과 공간 관계 예측 같은 보조 과제로 준비한 뒤 강화 학습으로 이동 정책을 개선한다.
다양한 이동 과제
논문은 세부 지시와 고수준 지시 및 대화와 긴 이동 경로 과제를 평가했다. 특히 긴 경로에서 효과를 보고했지만 평가 과제마다 필요한 관측과 성공 조건은 구별해야 한다.
관련 문서
재귀 VLN-BERT / PREVALENT / Room-to-Room / Room-Across-Room / CVDN / DUET 이동 모델