국소적인 촉각 단서
시각 기반 형상 복원은 가림이나 조명, 복잡한 국소 형상의 영향을 받을 수 있다. Touch2Shape는 촉각 이미지가 제공하는 접촉 부근의 3차원 정보를 생성 모델에 활용한다.
촉각 조건의 확산 모델
촉각 임베딩 모듈로 확산 모델에 조건을 제공해 간결한 형상 표현을 만든다. 별도의 촉각 형상 융합 모듈로 복원된 형상을 다듬는다.
다음 탐색을 학습하기
확산 모델과 강화 학습을 결합해 촉각 탐색 정책을 학습한다. 생성한 잠재 벡터를 사용하는 보상 설계로 탐색 학습을 안내하므로 주어진 관찰을 복원하는 과제와 구별된다.
복원과 탐색의 평가
정성적 관찰과 정량적 분석으로 복원 품질을 살피고 탐색 정책의 추가 효과를 비교했다. 더 좋은 형상 복원과 실제 로봇의 모든 접촉 동작 성공은 같은 평가 목표가 아니다.
관련 문서
TouchAnything / TouchSDF / ShapeMap 3-D / 확산 모델 / 강화 학습 / 3차원 재구성