손 모양을 바꾸며 생기는 차이
사람 손의 동작을 다른 로봇 손으로 변환하면 원래 접촉 관계를 잃을 수 있다. RealDexUMI는 수집과 배치에서 로봇 손과 감각 장치를 공유하는 쪽으로 이 문제에 접근한다.
시연의 제어와 관측
장갑은 사람 손가락 입력을 로봇 손 관절 명령에 대응시킨다. 동시에 손 내부 영상과 촉각 및 접촉 정보를 기록해 실제 실행에서 필요한 관측과 행동의 대응을 유지한다.
실제 조작 실험
논문은 정밀한 접촉 조작과 긴 작업 및 양손 과제를 다뤘다. 여덟 과제의 평균 성공률은 88.75%였으며, 보지 않은 초기 자세와 세 가지 로봇 구성으로의 전이도 평가했다.
전이의 범위
말단 장치를 공유한다는 것은 로봇 전체의 모든 차이가 사라진다는 뜻은 아니다. 보고된 결과는 해당 손 모듈과 과제에서의 전이이며, 다른 형태의 손까지 자동으로 지원한다는 보장은 없다.
관련 문서
UMI 로봇 시연 인터페이스 / TacUMI / 촉각 센서 / 모방 학습 / DexTouch / DROID 로봇 데이터셋