적은 접촉으로는 부족한 정보
촉각은 접촉한 위치의 기하를 직접 제공하지만 소수의 국소 접촉만으로 전체 형상을 유일하게 정하기 어렵다. TouchAnything는 이 부족한 정보를 시각 생성 모델의 사전 지식으로 보완한다.
시각 모델의 지식을 옮기기
촉각 자료만으로 확산 모델을 새로 학습하는 대신 사전 학습된 큰 2차원 시각 확산 모델을 활용한다. 그 안에 담긴 의미와 기하 지식을 촉각 기반 복원에 전이하려는 방식이다.
관찰과 사전 지식의 조율
희소한 접촉 제약과 물체의 대략적인 범주 설명을 입력받는다. 촉각 관찰에 일관되면서 확산 사전 지식에 맞는 형상을 찾는 최적화 문제로 구성한다.
새 물체와 추정의 한계
보지 않은 물체 인스턴스로 복원을 평가했다. 생성 사전 지식이 채우는 비접촉 영역은 직접 측정한 표면과 다르므로, 범주 설명이나 사전 지식의 편향이 복원에 주는 영향도 고려해야 한다.
관련 문서
Touch2Shape / TouchSDF / ShapeMap 3-D / 확산 모델 / 3차원 재구성 / 촉각