언어를 행동에 연결하기
사람의 말로 지정한 과제를 수행하려면 언어를 현재 관찰과 행동에 연결해야 한다. CALVIN은 여러 기술을 조합해 긴 시간 범위의 조작을 수행하는 문제를 제공한다.
센서와 행동의 조건
로봇에 장착된 센서의 관찰로 과제를 해결하는 것을 목표로 한다. 센서 구성을 유연하게 정할 수 있으므로 서로 다른 정책의 결과를 비교할 때 입력 조건도 맞춰야 한다.
새 지시와 새 환경
처음 보는 언어 지시와 환경, 물체에 대한 제로샷 평가를 수행한다. 언어 표현을 바꾸는 일반화와 환경이나 물체가 바뀌는 일반화는 다른 축이다.
긴 연속 과제의 어려움
초기 다중 맥락 모방 학습 기준 모델은 긴 과제에서 어려움을 보였다. 단일 기술을 성공시키는 결과와 여러 기술을 연속으로 완료하는 결과를 구분해 정책의 한계를 살펴야 한다.