변형과 접촉의 복잡성
변형 물체는 강체보다 물리적 상호작용이 복잡하고 손의 여러 접촉 모드가 최적화를 어렵게 할 수 있다. DexDeform은 사람 시연의 기술 추상화와 물리 기반 정제를 결합한다.
기술 모델의 계획
소수의 사람 원격 조종 시연으로 기술 모델을 학습한다. 이 모델은 추상화된 행동 수준에서 계획하므로 모든 저수준 행동을 처음부터 직접 탐색하는 부담을 나눈다.
모양 증강과 궤적 개선
시연에 있는 변형 형상을 증강해 목표 공간을 탐색한다. 기술 모델이 계획한 행동을 그래디언트 최적화로 다듬고, 개선된 궤적을 새로운 시연으로 모델 미세 조정에 사용한다.
새 목표의 평가
여섯 변형 물체 조작 과제로 초기 시연에 없던 새 목표의 탐색과 일반화를 비교했다. 시연 모방과 물리적 행동 개선의 기여를 구분하고, 모든 재질의 물리를 정확히 안다는 의미로 확대하지 않아야 한다.
관련 문서
DexArt / ManipTrans와 DexManipNet / HandsOn 조작 벤치마크 / 모방 학습 / 미분 가능 시뮬레이션 / 강화 학습