촉각을 장면에 놓기
촉각 신호를 장면의 어디에서 얻었는지 알아야 시각 정보와 연결할 수 있다. TaRF는 카메라를 사용하는 시각 기반 촉각 센서를 다중 시점 기하 방법으로 사진에 정합한다.
공통 공간의 표현
사진들과 일부 접촉 관찰로 장면의 시각 촉각 표현을 만든다. 시각적으로나 구조적으로 비슷한 장면 영역이 촉각 특징을 공유한다는 단서를 활용한다.
조건부 촉각 생성
신경 방사장에서 렌더링한 RGB-D 이미지를 조건부 확산 모델에 제공해 대응 촉각 신호를 생성한다. 장면 위치와 시각 정보를 연결한 촉각 추정 방식이다.
측정과 생성의 차이
공간적으로 정렬된 시각 촉각 자료를 수집해 생성 정확도와 후속 과제 활용을 평가했다. 새 위치의 생성 촉각은 그 자리를 직접 접촉해 측정한 자료와 다르므로 추정값으로 해석해야 한다.
관련 문서
Touch and Go / TouchSDF / ShapeMap 3-D / NeRF / 확산 모델 / 다중모달 학습