관측과 행동의 공간
이차원 영상에서 곧바로 명령을 예측하는 대신 관측과 행동을 복셀 공간에 놓는다. 이 구조는 위치와 회전을 포함하는 6자유도 조작을 학습할 공간적 사전 정보를 제공한다.
다음 행동의 검출
언어 목표와 복셀 관측을 함께 인코딩하고 이산화한 행동을 출력한다. 다음에 선택할 복셀 행동을 검출하는 방식이므로 연속 행동 시퀀스를 확산으로 생성하는 정책과는 표현이 다르다.
여러 과제의 공동 학습
하나의 트랜스포머로 여러 조작 과제를 학습한다. 원 논문은 RLBench의 249가지 변형과 실제 과제의 18가지 변형에서 과제당 소수 시연을 활용했다.
비교의 조건
논문은 영상에서 행동으로 연결하는 에이전트와 삼차원 합성곱 기반 비교 방법을 평가했다. 이 결과는 해당 탁상 조작 구성에서의 비교이며 모든 공간 표현의 우열을 확정하지는 않는다.
관련 문서
RLBench / 트랜스포머 / 복셀 / 모방 학습 / 3D Diffusion Policy / RVT 로봇 뷰 트랜스포머