질문할 수 있는 이동
수행자는 주변을 이동하며 안내자에게 질문하고 답변을 받는다. 한 번 주어진 고정 지시를 따르는 과제와 달리 대화가 필요한 정보를 보완하는 역할을 한다.
안내자의 추가 정보
Oracle은 최단 경로 계획기에 따른 적절한 다음 단계에 접근할 수 있다. 수행자와 안내자가 같은 정보를 보는 것은 아니므로 이런 비대칭을 평가 조건에 포함해야 한다.
대화 이력에서 행동으로
Navigation from Dialog History 과제는 목표 물체와 이전 사람 대화를 받아 새로운 환경의 목표 쪽으로 이동을 추론한다. 최신 문장만이 아니라 누적된 대화의 의미가 중요하다.
기억 범위의 비교
원 논문의 다중 모달 시퀀스 모델은 대화 이력을 더 멀리 참고할 때 성능이 개선됐다. 이 결과는 해당 자료와 비교 모델에서 대화 문맥의 중요성을 보여 준다.
관련 문서
TEACh / Room-to-Room / Room-Across-Room / 대화 시스템 / 시각 언어 모델 / 로봇 내비게이션