계획과 실행의 두 수준
촉각은 지금 무엇을 해야 하는지 판단할 때와 손의 움직임을 정밀하게 조정할 때 모두 필요할 수 있다. VLA-Touch는 이를 상위 계획과 하위 실행으로 나누어 통합한다.
계획을 위한 의미 피드백
사전 학습된 촉각 언어 모델이 촉각 관찰을 의미 정보로 제공한다. 계획 단계는 이 피드백을 사용하므로 단순히 촉각 이미지를 기본 VLA 입력에 덧붙이는 방식과 다르다.
행동을 위한 확산 제어기
기본 VLA가 생성한 행동을 촉각 신호에 따라 확산 기반 제어기가 다듬는다. 기본 VLA를 미세 조정하지 않는다는 조건과 추가 제어기를 학습하거나 사용하는 조건은 구분해야 한다.
실제 로봇 평가
실제 환경에서 두 수준의 촉각 통합이 계획 효율과 실행 정밀도에 주는 영향을 평가했다. 의미 피드백의 적절성과 접촉 시 행동 보정의 정확성은 각각 확인해야 하는 요소다.
관련 문서
TLA 촉각 언어 행동 모델 / Octopi와 PhysiCLeAR / TVL 촉각 시각 언어 정렬 / Diffusion Policy / 촉각 / 로봇