지시에서 공간 조건으로
자연어 지시는 닿아야 할 위치와 피해야 할 영역 같은 조건을 담을 수 있다. VoxPoser는 언어 모델이 추론한 행동 가능성과 제약을 실제 관측의 공간 표현으로 연결한다.
가치 지도의 합성
코드 생성 능력으로 시각 언어 모델과 상호작용하며 삼차원 지도를 구성한다. 만들어진 지도는 목표를 문장으로 설명하는 데 그치지 않고 이동 궤적을 정하는 입력으로 쓰인다.
관측을 반영하는 궤적
모델 기반 계획기는 말단 장치의 촘촘한 경유점 시퀀스를 생성한다. 연구는 동적 변화에 대응하는 폐루프 수행과 접촉 장면에서 온라인 경험으로 동역학 모델을 학습하는 방식도 다뤘다.
추가 학습의 범위
논문은 시뮬레이션과 실제 로봇의 여러 일상 조작을 평가했다. 추가 과제 시연 없는 궤적 생성과 사전 학습한 시각 언어 모델의 사용은 구별해야 하며, 온라인 학습이 있는 구성도 별도로 봐야 한다.
관련 문서
SayCan / Code as Policies / PaLM-E / 경로 계획 / 시각 언어 모델 / 로봇 조작