촉각을 말로 설명하기
시각적 관찰과 접촉 센서의 자료, 촉감을 나타내는 언어를 서로 맞추는 것은 단순한 이미지 설명과 다른 문제다. TVL은 이 세 종류의 정보를 함께 연결하는 자료를 구성했다.
사람 주석과 의사 주석
일상 환경에서 얻은 시각 촉각 쌍에 영어 설명을 붙인다. 일부는 사람이 주석하고 나머지는 GPT-4V의 텍스트 의사 라벨을 사용하므로 모든 설명이 사람의 검증을 거쳤다고 해석해서는 안 된다.
인코더와 생성 모델
시각 언어 공간에 정렬한 촉각 인코더로 개방 어휘 분류를 수행한다. 학습된 인코더를 사용한 촉각 시각 언어 모델은 텍스트도 생성한다.
정렬 성능과 설명 품질
새로운 시각 촉각 이해 벤치마크에서 기존 모델과 비교했다. 분류 정확도와 생성된 촉감 설명의 적절성은 별개의 평가 대상이며, 시각 단서와 촉각 단서의 기여도 나누어 살펴볼 필요가 있다.
관련 문서
UniTouch / Sparsh와 TacBench / ImageBind / LanguageBind / 다중모달 학습 / 의사 라벨링