보면서 지시를 해석하기
같은 방향 표현도 현재 보고 있는 장면과 에이전트의 위치에 따라 의미가 달라진다. 이 과제는 언어를 정적인 답으로 바꾸기보다 관측에 연결한 행동의 연속으로 해석한다.
실제 영상 기반 시뮬레이션
함께 제시한 Matterport3D Simulator는 실제 이미지에 기반한 강화 학습 환경이다. 실제 건물의 영상이라는 사실과 물리 로봇이 건물 안에서 직접 시험됐다는 것은 다르다.
시각 언어 연구와의 연결
원 연구는 시각 질의 응답과 이동 지시 수행을 관측에 근거한 시퀀스 변환 문제로 연결했다. 시각과 언어를 함께 처리하는 방법을 이동 연구에 적용할 기반을 제시했다.
평가 범위
R2R은 언어로 설명한 이동을 평가하는 자료이며 물체를 직접 조작하는 전체 가사 활동과는 다르다. 새로운 환경에서의 일반화를 비교할 때에는 장면 분할과 관측 조건을 확인해야 한다.
관련 문서
REVERIE / Matterport3D / 시각 언어 모델 / 모방 학습 / 로봇 내비게이션 / ALFRED