고정된 시연에서 배우기
오프라인 학습에서는 이미 수집한 행동 기록을 이용한다. robomimic 연구는 난도가 다른 조작과 다양한 품질의 자료를 함께 다루며 사람의 시연을 활용하는 조건을 비교했다.
자료의 품질
같은 학습 방법이라도 시연에 담긴 행동의 품질에 따라 결과가 달라진다. 자료의 양만 세기보다 어떤 수행 경험이 포함됐는지 함께 살펴야 한다.
종료 시점의 선택
학습 중 줄이는 목적 함수와 실제 로봇에서 평가하는 수행 능력은 다를 수 있다. 연구는 이 차이 때문에 어떤 시점의 정책을 선택하느냐도 비교 결과에 영향을 준다고 분석했다.
재현 가능한 비교
연구진은 자료와 알고리즘 구현을 공개했다. 다단계 조작에서 유용한 정책을 배울 가능성을 보여 주지만, 특정 자료에서 얻은 결과를 모든 실제 환경의 성공으로 확대할 수는 없다.
관련 문서
모방 학습 / 오프라인 강화 학습 / FurnitureBench / RoboCasa / LIBERO / robosuite