실행하지 않는 정책 질의
사람이 그리퍼로 시연하는 동안 정책도 같은 관측을 받아 행동을 예측한다. 이 예측은 실제 로봇에서 실행하지 않으며 자료를 더 모아야 할 구간을 찾는 데 사용한다.
차이가 큰 구간
Energy Score는 사람의 행동 궤적과 정책 추론 사이의 차이를 비교한다. 학습 자료에서 벗어난 상태로 보이는 구간에서 추가 수집을 유도한다.
진행에 도움이 되는 행동
별도의 피드백 과정은 작업 진행을 평가하는 어드밴티지 추정기를 개선한다. 이후 기존 시연과 새 자료를 균형 있게 섞어 이 평가값을 조건으로 행동 복제를 학습한다.
평가의 의미
논문은 긴 작업과 정밀 조작을 포함한 네 실제 과제에서 단순 지도 미세 조정보다 개선을 보고했다. 수집 중 로봇 실행을 분리했다는 의미이며, 학습한 정책의 실제 평가까지 생략했다는 뜻은 아니다.
관련 문서
UMI 로봇 시연 인터페이스 / 모방 학습 / 행동 복제 / 강화 학습 / ACT 행동 청킹 / DROID 로봇 데이터셋