관측을 추론 문맥으로
현재 보이는 장면을 텍스트로 설명하고 이전 이동과 앞으로 갈 수 있는 방향을 함께 전달한다. 언어 모델은 이 정보를 바탕으로 지시와 현재 상황의 관계를 해석한다.
목표를 나누는 과정
장거리 지시를 작은 목표로 나누고 표지물을 찾거나 이동 진척을 판단하는 과정을 명시적으로 표현한다. 예상과 다른 상황에서는 계획을 조정하는 추론도 다룬다.
행동 이외의 활용
연구는 이동 경로를 설명하는 지시를 생성하거나 경로의 위쪽 시점 표현을 만드는 사례도 제시했다. 이러한 표현 능력과 실제 목표 도달 성능은 별도로 평가할 대상이다.
제로샷의 한계
논문의 R2R 평가에서 제로샷 NavGPT는 학습된 이동 모델보다 낮은 성능을 보였다. 언어 추론이 가능하다는 결과를 별도 학습 없이 높은 이동 성공률을 확보했다는 의미로 해석하면 안 된다.
관련 문서
Room-to-Room / 시각 언어 모델 / 대규모 언어 모델 / 경로 계획 / ETPNav / NavCoT