생략된 이동 정보를 추론하기
사람의 지시는 모든 저수준 동작보다 중요한 결정과 지표물을 중심으로 말하는 경우가 많다. 수행자는 시각 문맥으로 생략된 정보를 보완해야 한다.
화자가 만드는 학습 자료
화자 모델은 새로운 지시를 합성해 학습 자료를 늘린다. 사람이 추가로 모든 경로를 설명해야 하는 비용을 줄이면서 수행자 학습에 사용할 예시를 만든다.
경로가 말을 설명하는 정도
추론 때에는 후보 행동 시퀀스가 지시를 얼마나 잘 설명할 수 있는지 화자 관점에서 평가한다. 이는 수행자가 지시에서 행동을 고르는 방향과 보완적인 판단이다.
세 구성의 평가
논문은 화자 기반 자료 증강과 화용적 추론 및 파노라마 행동 공간의 효과를 비교했다. 보고된 성공률 향상은 당시 벤치마크 설정의 결과이며 연속 저수준 제어와 같은 조건이 아니다.
관련 문서
Room-to-Room / VLN-CE / 자료 증강 / 시퀀스 투 시퀀스 / 시각 언어 모델 / 로봇 내비게이션