손과 물체가 함께 움직인다
관절 물체 자체가 움직일 수 있고 다지 손에도 많은 자유도가 있다. DexArt는 이런 복합적인 상호작용에서 같은 과제 안의 여러 물체를 조작하는 문제를 정의한다.
새 물체 평가
이미 학습한 물체만 반복하는 대신 보지 않은 관절 물체에 정책이 적용되는지를 중점적으로 살핀다. 학습 과제와 시험 물체의 구분이 벤치마크의 중요한 조건이다.
3차원 표현의 역할
점군 입력을 처리하는 3차원 표현 학습을 강화 학습과 결합한다. 표현 방식의 차이가 정책의 의사 결정과 일반화에 주는 영향을 비교한다.
가상 평가의 범위
물리 시뮬레이터의 복잡한 조작 과제에서 정책을 평가한다. 가상 물체로의 일반화와 실제 센서 및 로봇으로의 전이는 같은 문제가 아니므로 결과가 검증된 환경을 구분해야 한다.
관련 문서
Tac-Man / FoLD 관절 물체 조작 / DexRepNet / HandsOn 조작 벤치마크 / 강화 학습 / PointNet