현재 관측만으로 부족할 때
이동 에이전트는 환경 전체를 한 번에 볼 수 없다. 이전에 본 정보와 지시의 진행 상태를 반영하려면 정적 입력을 처리하는 시각 언어 모델을 시간에 맞게 바꿔야 한다.
모델 안의 재귀 기능
연구는 BERT에 모달 간 상태 정보를 유지하는 재귀 함수를 결합했다. 이런 상태가 단계 사이에 이어지면서 이력에 의존하는 판단을 지원한다.
이동과 대상 식별
모델은 이동뿐 아니라 지시가 가리키는 대상을 식별하는 과제도 함께 다룰 수 있도록 제시됐다. 논문은 R2R과 REVERIE에서 더 복잡한 인코더 및 디코더 방식과 비교했다.
적용 범위
연구는 다른 트랜스포머 구조와 사전 학습에도 적용할 가능성을 제시했다. 특정 벤치마크의 비교 결과를 모든 연속 제어 또는 실제 로봇 환경의 성능으로 확대하면 안 된다.
관련 문서
PREVALENT / BERT / 트랜스포머 / REVERIE / Room-to-Room / VLN-CE