목표를 전달하는 여러 방식
같은 조작 요구도 문장으로 설명하거나 목표 장면을 보여 주는 등 여러 형태로 지정할 수 있다. VIMA는 이를 별도 전용 모델의 문제로만 다루지 않고 시각과 텍스트를 섞은 프롬프트로 표현한다.
프롬프트에서 행동으로
트랜스포머는 입력 프롬프트를 처리한 뒤 모터 행동을 순차적으로 생성한다. 입력 문맥이 작업의 요구를 나타내며 모델은 이를 관측과 연결해 조작을 수행한다.
절차적으로 만든 과제
함께 제시한 시뮬레이션 벤치마크는 수천 개 탁상 과제를 절차적으로 구성한다. 전문가 시연과 네 단계의 평가 규칙으로 일반화의 난도를 체계적으로 나눈다.
효율 비교의 범위
논문은 같은 자료 또는 더 적은 자료로 학습한 변형들과 성공률을 비교했다. 그 결과는 해당 시뮬레이션 평가에서의 차이이며 실제 로봇 전반의 효율로 곧바로 확대할 수 없다.
관련 문서
다중 모달 / 트랜스포머 / 모방 학습 / PerAct / Octo 로봇 정책 / Gato 범용 에이전트