영상만 있는 기록
사람의 상호작용 영상은 많지만 실제 촉각 측정을 함께 갖춘 자료는 상대적으로 적다. EgoTac은 이런 영상에서 촉각 정보를 추정해 활용하는 방향을 연구한다.
다양한 촉각 정답
570만 개 이상의 이미지 촉각 쌍을 통합해 학습한다. 연속적인 힘 값과 접촉 여부라는 서로 다른 정답을 포함해 다양한 상호작용의 촉각 변화를 다룬다.
평가 조건의 구분
학습 분포 안의 힘 예측과 다른 분포의 접촉 예측을 나누어 평가했다. 한 조건의 힘 오차를 다른 센서나 제한 없는 영상에서의 보편적 측정 정확도로 읽어서는 안 된다.
추정 촉각의 활용
실제 영상에 제로샷으로 적용하고 자료량과 다양성의 효과도 살폈다. 영상에서 예측한 촉각은 힘 센서의 직접 측정과 다르므로 이후 로봇 학습에서도 추정값의 한계를 고려해야 한다.
관련 문서
TouchScale / OPENTOUCH / Touch and Go / TaRF / Ego4D / 촉각