인지 표현을 미리 배우기
로봇마다 처음부터 영상 표현을 학습하려면 많은 시연이 필요할 수 있다. R3M은 사람의 다양한 행동 영상에서 재사용 가능한 표현을 학습해 후속 조작 학습에 전달한다.
세 가지 학습 신호
시간 관계를 비교하는 목적, 동영상과 언어를 맞추는 목적 및 희소하고 압축된 표현을 유도하는 L1 벌점을 함께 사용한다. 화소를 복원하는 학습과는 다른 목표다.
정책과 시각 모듈
사전 학습된 시각 모듈을 고정하고 후속 정책을 학습할 수 있다. 표현이 고정되었다는 것은 로봇의 행동 정책도 학습하지 않는다는 뜻이 아니다.
전이 성능의 확인
관련 연구는 시뮬레이션 조작 과제와 실제 주거 환경의 로봇 시연에서 평가했다. 적은 시연의 효과는 해당 과제와 관측 조건의 결과이므로 모든 장치에서 같은 시연 수로 성공한다고 해석해서는 안 된다.
관련 문서
Ego4D / EgoMimic 로봇 모방 학습 / EgoBridge / EgoVerse / 대조 학습 / 모방 학습