센서 사이의 차이
시각 기반 촉각 센서는 설계에 따라 자료 특성이 달라 공통 지각 모델을 만들기 어렵다. AnyTouch는 센서별로 독립된 표현을 배우기보다 통합 표현을 학습해 지식을 옮기려 한다.
정적 정보와 동적 정보
질감처럼 정적으로 드러나는 단서와 압력 변화 같은 동적 단서를 함께 고려한다. 이미지와 영상을 통합해 두 관점의 촉각 정보를 학습한다.
여러 수준의 학습
마스킹 모델링으로 화소 수준의 세부 정보를 다룬다. 다중모달 정렬과 센서 간 대응 학습으로 센서에 덜 의존하는 의미 특징을 학습한다.
TacQuad와 전이 평가
네 시각 촉각 센서의 정렬된 자료가 센서 통합을 지원한다. 여러 자료에서의 센서 간 전이와 실제 따르기 과제를 평가했으며, 알려지지 않은 모든 센서에 자동으로 맞춰진다고 단정할 수는 없다.
관련 문서
UniTouch / Sparsh와 TacBench / UniT 촉각 표현 학습 / RCT 촉각 데이터셋 / 자기지도 학습 / 다중모달 학습