익숙한 장면의 과적합
학습에서 본 장소의 높은 성능이 새로운 장소에서도 유지되는 것은 아니다. 연구는 관측 가능한 환경의 다양성이 제한되는 문제를 주요 원인으로 다룬다.
두 단계의 학습
처음에는 모방 학습과 강화 학습을 섞어 정책을 준비한다. 다음에는 새롭게 만든 환경과 경로 및 지시의 세 요소 조합을 이용해 미세 조정한다.
환경 변화와 역번역
환경 드롭아웃으로 보지 않은 조건을 흉내 내고 그 위에서 역번역을 적용해 경로와 지시를 생성한다. 기존 장면을 그대로 반복하는 것보다 다양한 학습 조건을 만들려는 접근이다.
일반화의 비교
원 논문은 비공개 시험 환경을 포함한 R2R에서 증강 조합의 효과를 평가했다. 실제로 새로운 건물을 수집한 것과 학습 환경을 변형한 것을 같은 자료 확보 방식으로 볼 수는 없다.
관련 문서
FOAM 이동 지시 생성 / Speaker-Follower 이동 모델 / Room-to-Room / 자료 증강 / 드롭아웃 / 전이 학습