계속 바뀌는 대화 문맥
고정된 지시를 한 번 읽는 이동과 달리 대화 기반 이동에서는 새로운 발화가 추가된다. 에이전트는 시각 관측과 누적 대화의 의미를 함께 해석해야 한다.
물체 수준의 대응
환경에 등장하는 물체 개념과 대화에 언급된 의미를 연결하도록 학습한다. 시각 장면과 대화 이력을 결합하는 다중 모달 트랜스포머가 이동 표현을 구성한다.
질문할 때와 움직일 때
별도의 이진 분류 헤드를 모방 학습해 상호작용과 이동 중 어느 쪽을 선택할지 판단한다. 이동 방향의 선택뿐 아니라 대화를 시작할 시점도 모델의 학습 대상으로 포함한다.
학습과 평가
연구는 사전 학습과 미세 조정의 여러 구성을 비교하고 CVDN에서 평가했다. 경로 길이를 고려하는 SPL과 대화 선택 능력은 구분해서 살펴야 하며, 당시의 순위가 현재의 순위를 뜻하지는 않는다.
관련 문서
CVDN / SPL 이동 평가 지표 / Room-to-Room / PREVALENT / 트랜스포머 / 모방 학습