출력이 언어에만 머물지 않기
대규모 언어 모델의 학습 접근을 텍스트 밖의 행동으로 넓히려는 연구다. 한 모델이 서로 다른 종류의 관측과 출력을 다루도록 구성한다.
문맥에 따른 출력
같은 토큰 예측이라도 상황에 따라 필요한 출력의 의미는 달라진다. 대화에서는 텍스트를, 제어 상황에서는 관절 토크나 버튼 입력 같은 행동 표현을 출력할 수 있다.
여러 과제의 사례
보고서는 아타리 게임과 이미지 설명 및 대화, 실제 로봇 팔의 블록 쌓기를 제시했다. 같은 가중치를 사용한다는 사실이 이러한 과제들을 하나의 정책에서 다루는 연구의 핵심이다.
범용의 의미
여러 분야의 과제를 한 모델로 처리했다는 의미와 학습하지 않은 모든 문제를 풀 수 있다는 주장은 다르다. 로봇 작업이나 언어 능력을 평가할 때에는 보고된 과제와 관측 및 행동 조건을 구별해야 한다.