센서마다 모델을 다시 만드는 문제
조명이나 젤의 표시 등 센서의 차이는 촉각 이미지에 영향을 준다. 접촉력과 미끄러짐 같은 과제별 정답을 대규모로 수집하기도 어렵다. Sparsh는 과제와 센서에 맞춘 개별 모델의 의존을 줄이려 한다.
정답 없는 사전 학습
촉각 이미지에 마스킹과 자기 증류를 적용한다. 화소 공간과 잠재 공간에서 학습하는 구성을 비교하며 여러 시각 기반 촉각 센서에 활용할 표현을 얻는다.
TacBench의 역할
촉각 특성 이해에서 물리적 지각과 조작 계획까지 여섯 과제로 구성한다. 같은 평가 틀에서 센서와 표현 모델을 비교하도록 만든 벤치마크다.
어떤 표현이 유리했는가
실험에서는 Sparsh의 DINO와 IJEPA 구성이 경쟁력 있는 결과를 보였다. 잠재 공간에서 촉각 이미지를 학습하는 유용성을 보여주는 결과이며, 특정 과제의 수치를 모든 로봇 조작의 성공률로 읽어서는 안 된다.
관련 문서
UniTouch / UniT 촉각 표현 학습 / DINO / I-JEPA / 자기지도 학습 / ContactDB