시각의 가림과 촉각의 좁은 범위
로봇이 물체를 만지는 동안 카메라 시야가 가려질 수 있다. 촉각은 접촉 위치의 조밀한 관찰을 주지만 감지 면적이 좁으므로 만지지 않은 부분의 형상도 표현해야 한다.
국소 형상의 복원
시뮬레이션에서 학습한 모델로 촉각 이미지의 접촉 부근 형상을 복원한다. 깊이 카메라의 관찰과 이 국소 정보를 함께 사용해 물체 형상을 추정한다.
관찰을 점진적으로 통합하기
가우스 과정의 정보를 반영한 공간 인자 그래프에서 추론해 물체의 암시적 표면을 구성한다. 접촉이 추가될 때 관찰을 누적하는 점진적 형상 매핑 방식이다.
실험과 추정 영역
가상 환경과 실제 가정용 물체에서 시각 촉각 형상 복원을 평가했다. 실제로 접촉한 국소 영역과 자료를 바탕으로 추정한 비접촉 영역은 같은 수준의 직접 관찰로 볼 수 없다.
관련 문서
TouchSDF / Taxim / ObjectFolder / TACTO / 가우스 과정 / 3차원 재구성