다른 손의 시연을 함께 쓰기
사람 손과 로봇 손, 평행 그리퍼는 행동 공간이 다르다. AdvDex는 시연을 합칠 때 과제에 필요한 단서와 손의 외관이 뒤섞일 수 있다는 문제도 함께 다룬다.
정렬된 행동 표현
JAAS는 손목의 SE(3) 자세와 손가락 관절 15개로 공통 행동 표현을 만든다. 신체 구조가 실제로 같아지는 것이 아니라 서로 다른 조작 장치의 행동을 기능적으로 맞추려는 방식이다.
자료와 적대 학습
OmniShare의 운동학 및 촉각 자료를 활용한다. 도메인 적대 학습으로 시각 표현에서 특정 신체 구성에만 연관된 정보를 줄이려 한다.
전이 평가
손 행동 예측과 실제 조작에서 제로샷 사람 로봇 전이, 새 물체와 환경, 소수 예제 적응을 평가했다. 직접 전이와 추가 자료로 적응한 결과는 서로 다른 조건으로 읽어야 한다.
관련 문서
HandsOn 조작 벤치마크 / TACROSS / MimicTouch / UniDex-ViTac / 모방 학습 / 도메인 적응