사람이 들고 다니는 센서
실험실이나 가상 환경에 한정되지 않고 사람이 실제 환경의 물체를 센서로 만지며 자료를 모은다. 접촉하면서 동시에 기록하는 자기 시점 영상이 시각 촉각 대응을 제공한다.
대응 쌍으로 표현 배우기
짝지어진 시각 촉각 자료를 자기지도 특징 학습에 활용했다. 사람의 탐색 행동으로 얻은 관찰이며 로봇이 수행한 모든 동작의 제어 정답을 제공하는 자료라는 뜻은 아니다.
촉각에 맞춘 외관 생성
촉각 신호에 맞도록 물체의 보이는 스타일을 바꾸는 응용을 제시했다. 생성된 이미지의 외관을 바꾸는 것이며 실제 물체의 재질을 물리적으로 바꾸는 과제와 구별된다.
미래 촉각 예측
시각 촉각 입력에서 이후 촉각 신호의 프레임을 예측하는 응용도 평가했다. 현재 대응을 찾는 과제와 시간적으로 미래의 관찰을 예측하는 과제는 별도로 살펴야 한다.
관련 문서
TVL 촉각 시각 언어 정렬 / TaRF / AnyTouch와 TacQuad / RCT 촉각 데이터셋 / 자기지도 학습 / 다중모달 학습