환경과 자료를 함께 확장하기
로봇 자료를 실제로 대규모 수집하는 데 드는 부담을 시뮬레이션으로 줄이려는 접근이다. 다양한 주방 장면에서 일상적인 상호작용 과제를 구성한다.
물체와 시각 자산
수천 개의 3차원 자산과 상호작용 가능한 가구 및 가전을 제공한다. 텍스트 3차원 생성 모델의 물체와 텍스트 이미지 모델의 질감으로 장면의 다양성을 더한다.
과제와 시연
언어 모델의 안내로 만든 복합 과제를 포함해 초기 백 과제를 정의했다. 사람 시연과 자동 궤적 생성 방법을 함께 사용해 학습 자료를 늘린다.
규모와 전이의 해석
합성 로봇 자료의 규모를 늘리는 모방 학습 실험과 실제 과제 활용을 살폈다. 초기 RoboCasa의 과제 수를 후속 확장 버전의 수와 섞지 않고, 생성 자료와 실제 수집 자료도 구분해야 한다.
관련 문서
RoboTwin / HandsOn 조작 벤치마크 / DexVerse / 시뮬레이션 / 모방 학습 / Sim-to-Real