영상에 없는 촉각
사람 영상에는 조작 행동이 보이지만 실제 접촉의 촉각 값이 기록되지 않은 경우가 많다. Dex-X는 시뮬레이션을 이 정보를 보완하는 연결 단계로 사용한다.
상호작용을 가상으로 복원하기
단안 시연에서 손과 물체의 상호작용을 복원한다. 가상 환경의 물리적 접촉 동역학이 원래 영상에는 없는 촉각 감독을 제공하므로 이는 실제 촉각 측정과 구분된다.
학습과 증류
복원한 촉각 정보를 활용해 시각 촉각 조작 정책을 학습한다. 이어 점군 관찰과 촉각을 사용하는 실행 가능한 정책으로 증류한다.
실제 전이의 평가
손과 팔 플랫폼에서 집기와 도구 사용의 가상 실제 전이를 평가했다. 시뮬레이션 교사 정책과 증류한 실제 정책의 성적, 새 물체 형상으로의 집기 결과는 각각의 조건에 맞춰 해석해야 한다.
관련 문서
UniDex-ViTac / MimicTouch / TAVI 촉각 적응 학습 / EgoTac / Sim-to-Real / 지식 증류