보기만 해서는 알기 어려운 속성
영상이나 언어에서 추측하는 물성에는 한계가 있다. 촉각은 물체와 상호작용하며 얻는 관찰이므로 시각적 외관만으로 드러나지 않는 물리적 단서를 제공할 수 있다.
촉각과 언어의 결합
Octopi는 촉각 표현 학습과 큰 시각 언어 모델을 함께 사용한다. 언어 부분의 적은 미세 조정으로 촉각 입력에 대한 예측과 추론을 수행하는 구성을 제시했다.
PhysiCLeAR
GelSight 센서로 얻은 주석 촉각 영상과 물리적 속성에 관한 추론 과제를 포함한다. 모델의 입력이 되는 관찰과 결과를 판단하는 과제를 함께 제공해 촉각 기반 추론을 평가한다.
중간 속성의 활용
평가에서는 예측한 물리적 속성을 중간 단계로 활용할 때 여러 촉각 관련 과제에 도움이 되는 결과를 보였다. 중간 설명이 있다는 사실만으로 그것이 올바른 물성 측정이나 검증된 인과 설명이 되는 것은 아니다.
관련 문서
TVL 촉각 시각 언어 정렬 / UniTouch / Sparsh와 TacBench / ObjectFolder Real과 벤치마크 / 다중모달 학습 / 대규모 언어 모델