단어에서 문장으로
재질 이름처럼 짧은 어휘는 일부 촉각 정보를 전달하지만 문장은 더 풍부한 의미를 담을 수 있다. TLV는 이런 문장 수준의 설명으로 촉각과 시각을 언어에 연결하려는 자료다.
사람과 기계의 연계
자료는 사람과 기계가 단계적으로 협력하는 방식으로 구성했다. 자료 생성에 기계가 참여하는 것과 모든 설명이 사람의 직접 관찰로 작성되는 것은 구분해야 한다.
경량 정렬 프레임워크
STLV-Align은 TLV로 미세 조정하는 세 모달리티 정렬 프레임워크다. 연구에서는 약 1%의 파라미터 조정으로 의미 정렬을 수행하는 구성을 제시했다.
비슷한 약어 읽기
TLV는 Touch-Language-Vision의 순서이며, Touch-Vision-Language를 뜻하는 TVL과 별도의 자료 및 방법이다. 약어가 비슷하더라도 자료 규모나 주석 방식, 모델 결과를 서로 가져와 설명해서는 안 된다.
관련 문서
TVL 촉각 시각 언어 정렬 / UniTouch / Sparsh와 TacBench / LanguageBind / 다중모달 학습 / 파라미터 효율적 미세 조정