한 번의 접촉을 보존하기
물체를 누르는 동안 얻은 연속 프레임들은 강하게 연관된다. RCT는 로봇의 완전한 누름 동작을 접촉 시퀀스로 보존해 프레임뿐 아니라 물리적 상호작용 단위를 추적한다.
무작위 프레임 분할의 문제
같은 접촉의 비슷한 관찰이 학습과 시험에 함께 들어가면 새로운 접촉에 대한 성능과 섞일 수 있다. 연구에서는 인코더를 고정하고 접촉 시퀀스 중복을 제거했을 때 촉각 텍스트 검색 Recall@1이 낮아지는 결과를 확인했다.
새 재질을 따로 평가하기
재질과 범주, 센서, 접촉 위치, 접촉 시퀀스를 분리하는 평가를 지원한다. 새로운 재질을 학습에서 제외하는 실험은 같은 재질의 다른 프레임을 맞히는 실험보다 더 직접적으로 재질 일반화를 살핀다.
수집 수와 평가 단위
29,279개 프레임을 독립적인 접촉 29,279번으로 읽어서는 안 된다. 학습 중 누름 동작의 표본을 균등하게 뽑는 방법도 살펴봤으며, 프레임 수와 접촉 시퀀스 수는 구별해야 한다.
관련 문서
TVL 촉각 시각 언어 정렬 / TLV와 STLV-Align / Sparsh와 TacBench / UniTouch / 데이터 누수 / 일반화