촉각 자료의 차이
촉각을 다른 모달리티와 연결하려면 자료 수집 비용과 표준화되지 않은 센서 출력을 다뤄야 한다. UniTouch는 시각 기반 촉각 센서들을 하나의 표현 모델에서 함께 학습한다.
이미지 공간을 연결점으로
이미 다른 모달리티와 연결된 사전 학습 이미지 임베딩에 촉각 임베딩을 정렬한다. 이를 통해 언어와 소리 등과의 관계도 활용하려는 접근이다.
센서별 학습 토큰
센서가 다르면 접촉을 관찰하는 자료의 특성도 다를 수 있다. 학습 가능한 센서별 토큰을 두어 여러 종류의 촉각 센서로부터 동시에 학습하도록 한다.
촉각 과제에 활용하기
로봇 파지 예측부터 촉각 이미지 질문 응답까지 제로샷 활용을 제시했다. 시각 기반 센서 표현을 학습한 결과이며 사람의 모든 촉감을 재현하거나 실제 파지의 안전을 보장하는 모델이라는 뜻은 아니다.
관련 문서
ImageBind / LanguageBind / UniBind / ContactDB / ContactPose / 다중모달 학습