영상으로 배우는 제어 단서
로봇 제어의 모든 시각 표현을 과제 자료에서 처음부터 배울 필요는 없다. 이 연구는 실제 자연 영상으로 자기지도 사전 학습한 표현을 화소 기반 운동 제어에 전달한다.
고정된 인코더
제어 과제마다 시각 인코더를 별도로 미세 조정하지 않는다. 같은 표현을 여러 과제에 쓰면서 그 위의 신경망 제어기를 학습한다.
여러 제어 조건의 비교
움직임과 장면, 로봇이 다른 과제 묶음으로 평가한다. 사전 학습 자료로 쓰는 일상 영상과 ImageNet 영상의 차이가 후속 조작 표현에 미치는 영향도 조사했다.
학습 범위의 구별
시각 표현을 고정했다는 것은 정책이 학습되지 않는다는 의미가 아니다. 표현 사전 학습의 라벨 조건과 후속 강화 학습의 보상 및 환경 상호작용 조건을 나누어 확인해야 한다.
관련 문서
R3M / VIP 시각 보상 학습 / LIV 로봇 시각 보상 / Ego4D / 강화 학습 / 마스크 자동 인코더