영상의 지점을 지정하기
관측 영상에 마크를 붙이면 모델이 특정 위치를 구별하며 답할 수 있다. MOKA는 조작 가능성을 묻는 문제를 이런 시각 질의 응답의 연속으로 바꾼다.
지식에서 움직임으로
사전 학습 시각 언어 모델의 개념 이해와 상식을 활용해 행동 가능성을 예측한다. 점 기반 표현은 영상의 예측을 로봇의 실제 동작에 연결하는 중간 단계다.
경험을 통한 개선
연구는 이 방식으로 모은 로봇 경험을 문맥 내 학습과 정책 증류에 활용하는 방법도 살폈다. 추가 시연 없는 추론 설정과 경험으로 개선한 설정은 구별해서 비교해야 한다.
조작 과제의 범위
평가에는 도구 사용과 변형 물체 조작 및 물체 재배치 같은 탁상 과제가 포함됐다. 자유로운 문장으로 지시한다는 것만으로 모든 물리적 작업을 수행할 수 있다는 뜻은 아니다.