물체에서 상호작용 장면으로
3차원 생성 모델로 단일 이미지의 물체를 다양한 디지털 트윈으로 만든다. 이를 로봇이 상호작용할 수 있는 가상 장면 구성에 활용한다.
공간 제약과 코드 생성
물체 주석과 언어 모델로 과제를 나누고 공간 제약을 정한 뒤 로봇 움직임 코드를 생성한다. 언어 지시를 받는 것과 공간적으로 유효한 행동을 만드는 과정을 연결한다.
가상 자료와 실제 자료
가상 및 실제 자료의 벤치마크를 제공하고 COBOT Magic으로 검증했다. 생성 자료로 사전 학습한 뒤 적은 실제 표본으로 미세 조정하는 설정을 실제 자료만 쓰는 기준과 비교한다.
버전과 전이 조건
초기 공개와 후속 정식 발표는 같은 RoboTwin 연구의 발전 과정이다. 새 세대의 과제 수나 성능을 섞지 않고, 실제 미세 조정이 있는 결과를 제로샷 전이라고 표현하지 않아야 한다.
관련 문서
RoboCasa / Bi-Touch / DexVerse / HandsOn 조작 벤치마크 / 모방 학습 / 디지털 트윈