가상 표현과 실제 측정
가상 물체의 감각 반응을 표현하는 자료와 실제 물체에서 수집한 측정은 성격이 다르다. ObjectFolder Real은 후자에 해당하며 일상적인 가정용 물체를 대상으로 한다.
수집하는 관찰
새로운 수집 절차로 3차원 메시와 영상, 충격음, 촉각 관찰을 얻는다. 물체를 보는 단서와 소리를 듣거나 접촉하는 단서를 함께 비교할 기반을 제공한다.
열 가지 평가 과제
ObjectFolder Benchmark는 물체 인식과 복원, 조작을 중심으로 구성한다. 1,000개 신경 표현 물체와 실제 감각 측정 자료 모두에서 체계적으로 평가한다.
감각별 역할
여러 감각을 단순히 합치는 데 그치지 않고 과제마다 시각과 청각, 촉각이 어떤 역할을 하는지 살핀다. 물체 식별의 이득을 조작의 이득과 동일하게 해석하거나, 실측 100개와 가상 1,000개를 같은 수집 방식의 물체로 합산하지 않아야 한다.
관련 문서
ObjectFolder / RCT 촉각 데이터셋 / ContactDB / TVL 촉각 시각 언어 정렬 / 다중모달 학습 / Sim-to-Real