웹 지식과 로봇 경험
시각 언어 사전 학습의 의미 지식을 조작에 활용하려는 접근이다. RT-2는 로봇 궤적과 시각 질의 응답 같은 시각 언어 과제를 함께 미세 조정한다.
출력 형식의 통합
행동 명령을 토큰으로 표현하면 별도의 완전히 다른 출력 체계를 두지 않고 언어 학습 형식으로 다룰 수 있다. 다만 출력 토큰을 실제 로봇 명령으로 연결하는 과정은 여전히 필요하다.
새 지시의 해석
연구는 새 물체에 대한 일반화와 숫자나 아이콘을 이용한 지시 해석을 평가했다. 가장 작은 물체처럼 관계를 판단하는 기초적인 의미 추론도 시험했다.
추론과 조작의 한계
논문은 생각의 사슬을 결합한 다단계 의미 판단 사례도 제시했다. 이런 사례가 모든 물리적 계획의 정확성이나 실행 안전을 보장하는 것은 아니며, 평가한 장면과 명령 범위를 구별해야 한다.
관련 문서
RT-1 / OpenVLA / Open X-Embodiment / 시각 언어 모델 / 트랜스포머 / 모방 학습