서로 다른 센서를 함께 쓰기
한 센서의 모델을 다른 센서에 바로 적용하기 어려운 문제는 촉각 자료를 모아 학습하는 데 제약이 된다. HTT는 이질적인 센서 사이에 공유할 표현을 배우려는 프레임워크다.
센서별 앞단과 공통 본체
센서별 인코더가 입력을 처리하고 공유 트랜스포머 본체가 표현을 학습한다. 입력의 차이를 모두 없애기보다 센서별 부분과 공통 부분의 역할을 나눈다.
마스킹과 대응 정렬
모달리티별 마스킹 복원과 짝지어진 센서 사이의 정렬을 함께 사전 학습한다. HPT의 동기화된 관찰은 같은 접촉을 다른 센서에서 연결하는 기반이 된다.
전이 평가
촉각 지각과 실제 로봇 조작에서 새로운 과제 및 보지 않은 센서로의 적응을 평가했다. 평가된 센서의 전이는 근거가 되지만 임의의 센서를 연결 즉시 사용할 수 있다는 보장과는 다르다.
관련 문서
AnyTouch와 TacQuad / TACROSS / UniTouch / Sparsh와 TacBench / 자기지도 학습 / 트랜스포머