환경 모델부터 학습하기
사용 가능한 궤적 자료 전체로 월드 모델을 먼저 학습한다. 이후 정책이 그 모델 안에서 움직이도록 해 실제 환경의 새 상호작용 없이 학습 경로를 만든다.
여러 시점의 차이
모방 에이전트는 전문가의 시작 상태에서 출발한다. 한 시점의 행동만 맞추는 대신 전문가 자료와의 잠재 표현 차이가 여러 단계에 걸쳐 커지는 것을 벌점으로 다룬다.
강화 학습으로 모방하기
이 다단계 차이를 표준 강화 학습 알고리즘으로 최적화한다. 연구는 다른 모방 학습 방법도 월드 모델 환경에 맞춰 적용하고 성능 변화를 비교했다.
동명 연구와의 구별
논문은 온라인 환경 접근 없는 아타리 학습을 평가했다. 사람의 RGB-D 시연을 실제 로봇 궤적으로 변환하는 같은 이름의 DITTO 연구와는 저자와 방법 및 평가 환경이 다른 별도 연구다.
관련 문서
월드 모델 / 모방 학습 / 오프라인 강화 학습 / 강화 학습 / 행동 복제 / DITTO 궤적 변환