국소 움직임과 전체 모습
손끝 촉각은 자세한 국소 질감에서 움직임을 읽고 손목 카메라는 물체 전체의 시각 단서를 제공한다. FingerSLAM은 여러 번 정제하는 촉각 자세 추정과 한 번 처리하는 시각 추정을 결합한다.
이전 관찰과 다시 만나기
현재 시각 및 촉각 이미지를 저장된 키프레임에 맞추는 루프 폐쇄를 사용한다. 새 관찰만 계속 누적할 때 생길 수 있는 오차를 줄이려는 장치다.
자세에서 형상으로
두 감각과 루프 폐쇄 정보를 인자 그래프 최적화로 통합한다. 추정 자세를 이용해 촉각 이미지에서 복원한 국소 점군을 이어 물체의 형상을 점진적으로 만든다.
알려지지 않은 물체 평가
20개 물체의 실제 자료로 학습하고 학습에서 보지 않은 여섯 물체를 실제 환경에서 평가했다. 물체를 모른다는 조건과 자세 추정기 자체의 학습이 없다는 조건은 구분해야 한다.
관련 문서
NeuralFeels와 FeelSight / MidasTouch / ShapeMap 3-D / TouchSDF / SLAM / 촉각