관측을 언어와 연결하기
문장만으로 학습한 지식을 실제 로봇 상황에 쓰려면 현재 보고 있는 환경과 연결해야 한다. PaLM-E는 연속적인 센서 정보를 모델에 직접 넣어 이런 근거 연결을 다룬다.
섞인 입력 시퀀스
시각 표현과 상태 추정 및 텍스트 인코딩을 하나의 입력 안에 배치한다. 사전 학습 언어 모델과 함께 이 인코딩을 여러 과제에 대해 종단 간 학습한다.
공동 학습의 전이
연구는 인터넷 규모의 언어 및 시각 언어 과제와 로봇 과제를 함께 학습했을 때의 긍정적 전이를 보고했다. 최대 모델은 로봇 과제와 더불어 일반 시각 언어 능력도 평가했다.
계획과 직접 제어
순차 조작 계획을 다룬다는 사실과 모든 모터 명령을 직접 생성한다는 주장은 다르다. 결과를 비교할 때에는 모델이 담당한 추론 수준과 로봇에서 실제로 연결한 실행 구성을 확인해야 한다.