의미와 정밀한 위치
영상이 어떤 물체를 담는지 이해하는 능력과 지도에서 정확한 위치를 정하는 능력은 다르다. VLMaps는 시각 언어 표현을 기하 지도에 직접 결합해 두 정보를 연결한다.
영상에서 지도 만들기
일반적인 탐사 방식으로 얻은 로봇의 영상 흐름에서 지도를 구성할 수 있다. 추가로 표지한 자료 없이 지도에 자연어 질의를 적용하는 방식을 제시했다.
공간 관계가 있는 지시
언어 모델과 결합하면 명령을 지도에 놓인 이동 목표의 연속으로 바꿀 수 있다. 단순 물체 이름뿐 아니라 두 물체 사이처럼 관계로 지정한 목표를 다룬다.
로봇에 따른 장애물
같은 환경 지도도 로봇의 형태에 따라 이동 가능한 공간이 달라질 수 있다. 연구는 장애물 범주 목록으로 새 장애물 지도를 만들고 서로 다른 로봇이 표현을 공유하는 구성도 평가했다.
관련 문서
ConceptFusion / HomeRobot / OK-Robot / SLAM / 시각 언어 모델 / 로봇 내비게이션