범주보다 구체적인 목표
같은 범주의 물체가 여러 개 있어도 사용자가 설명한 특정 대상을 찾아야 할 수 있다. LGX는 시각적으로 고유하게 묘사한 목표에 대한 언어 주도 이동을 연구한다.
추론과 검출의 분리
대규모 언어 모델은 다음 탐사 행동에 필요한 상식 추론을 맡는다. 동시에 사전 학습한 시각 언어 연결 모델이 목표 물체를 관측에서 검출한다.
프롬프트의 영향
연구는 여러 프롬프트 방식이 언어 모델 출력에 주는 영향도 분석했다. 모델이 같더라도 질문과 문맥을 어떻게 제공하는지가 이동 결정에 영향을 줄 수 있다.
가상과 실제의 시험
논문은 RoboTHOR 비교와 실제 환경의 고유 물체 찾기 실험을 제시했다. 보고된 개선은 해당 비교 조건의 결과이며 모든 자연어 묘사를 정확히 해석한다는 보장은 아니다.