장면과 국소 상호작용
장면 배치는 달라져도 가까이에서 수행하는 접촉 동작은 비슷할 수 있다. ViTaL은 전체 장면에 맞춘 하나의 정책 대신 접근과 국소 상호작용을 나눈다.
위치를 찾은 뒤 실행하기
시각 언어 모델로 장면을 추론해 관심 물체의 위치를 찾는다. 이후 장면에 덜 의존하는 국소 정책이 자기 시점 시각과 촉각으로 접촉 조작을 수행한다.
국소 정책의 학습
표준적인 설정에서 한 번 학습한 국소 정책을 다른 장면에 재사용하려 한다. 분할 기반 모델로 모방 학습한 시각 인코더와 잔차 강화 학습, 촉각의 역할을 나누어 실험했다.
재사용의 범위
보지 않은 환경과 방해 물체가 있는 조건에서 접촉 과제를 평가했다. 국소 동작의 재사용은 관심 물체를 올바르게 찾는 단계와 함께 성립하므로 접근 단계의 실패와 접촉 제어 실패를 나누어 봐야 한다.
관련 문서
VLA-Touch / AT-VLA / TLA 촉각 언어 행동 모델 / 모방 학습 / 강화 학습 / 촉각