기하만으로 설명되지 않는 물체
같은 물체에도 보이는 외관과 두드렸을 때 나는 소리, 접촉했을 때의 촉각이 있다. ObjectFolder는 기하에 집중한 자료를 넘어 이런 감각 반응을 물체 중심으로 다룬다.
암시적 표현
물체의 시각 질감과 음향 시뮬레이션, 촉각 관찰을 통일된 암시적 표현에 담는다. 초기 자료에서는 물체 식별과 교차 감각 검색, 3차원 복원, 로봇 파지 등의 활용을 평가했다.
ObjectFolder 2.0
2.0은 물체 수를 열 배로 늘리고 세 감각의 렌더링 품질과 속도를 개선했다. 일반적인 가정용 물체를 암시적 신경 표현으로 제공하며 규모와 감각 표현 품질을 함께 확장한다.
실제 물체로의 전이
2.0에서는 물체 크기 추정과 접촉 위치 찾기, 형상 복원에서 가상 물체로 학습한 모델의 실제 대응 물체 전이를 평가했다. 이 가상 자료와 별도로 실측한 ObjectFolder Real은 구별해야 한다.
관련 문서
ObjectFolder Real과 벤치마크 / Taxim / TACTO / ContactDB / Sim-to-Real / 다중모달 학습