손동작과 물체 상호작용
사람 손의 움직임을 닮게 만드는 것과 물체를 의도대로 조작하는 것은 다르다. ManipTrans는 두 문제를 단계적으로 나누어 가상 로봇 손으로 기술을 옮긴다.
모방 뒤의 잔차 조정
범용 궤적 모방기가 손 움직임을 먼저 학습한다. 이후 특정 잔차 모듈을 상호작용 제약 아래 미세 조정해 복잡한 양손 과제의 실행을 다듬는다.
DexManipNet
여러 손 물체 자료를 로봇 손으로 전이해 약 3,300개 조작 에피소드를 구성했다. 펜 뚜껑 닫기와 병 돌려 열기 같은 과제를 포함하며 이후 정책 학습의 자료로 활용할 수 있다.
자료 규모의 해석
에피소드 수와 영상 프레임 수, 성공적으로 전이한 서로 다른 기술 수는 구별해야 한다. 가상 환경의 동작 전이 충실도와 실제 배포 성능도 같은 지표가 아니므로 각 평가 조건을 확인해야 한다.
관련 문서
FoLD 관절 물체 조작 / DemoMimic / AdvDex와 OmniShare / HandsOn 조작 벤치마크 / 모방 학습 / 강화 학습