적은 물체에서 표현 배우기
다양한 물체마다 촉각 자료를 새로 모으는 일은 부담이 크다. UniT는 단순한 한 물체의 촉각 이미지에서 학습한 표현이 다른 물체에도 활용될 수 있는지를 연구한다.
압축된 잠재 공간
VQGAN으로 촉각 이미지의 간결한 잠재 공간을 학습하고 이를 촉각 표현으로 사용한다. 원본 이미지 자체를 그대로 후속 과제의 입력 표현으로 쓰는 구성과 구별된다.
지각과 정책의 구분
물체의 손안 3차원 및 6차원 자세 추정, 촉각 분류에서 표현을 평가했다. 표현을 제로샷 전이하는 것과 조작 정책 자체를 아무 학습 없이 완성한다는 주장은 다르다.
실제 조작 실험
여러 물체와 로봇, 환경 사이의 복잡한 상호작용을 포함한 세 실제 과제에서 정책 학습의 활용을 확인했다. 실험에 없는 센서나 모든 재질로의 일반화는 별도로 검증해야 한다.
관련 문서
UniTouch / ContactDB / ContactPose / VQ-VAE / 표현 학습 / 로봇