이미 존재하는 영상
실행할 로봇과 같은 장소에서 새 시연을 모으는 대신 기존 사람 영상에 담긴 조작 정보를 활용한다. 로봇 전용 행동 기록을 직접 수집하기 어려운 문제에 대한 접근이다.
의미와 기하의 연결
사람 영상의 의미 및 공간 구조를 이해하는 기술과 잡을 수 있는 위치를 찾는 검출기를 결합한다. 관측 영상을 로봇에서 사용할 수 있는 조작 정책으로 연결하는 데 이 정보들을 이용한다.
다루는 기술
열기와 닫기, 따르기, 집어 옮기기, 자르기와 젓기 같은 조작 범주를 평가했다. 목표를 이미지로 지정한다는 점은 자유로운 언어 지시를 직접 받는 정책과 구별된다.
추가 시연 없는 수행
논문은 다른 물체와 작업 배치가 있는 실제 및 시뮬레이션 주방에서 평가했다. 추가 로봇 시연 없이 수행한다는 것은 사람 영상 학습이나 시각 이해 구성 요소도 필요 없다는 의미는 아니다.
관련 문서
EPIC-KITCHENS-100 / 모방 학습 / ARMimic / EgoMimic / UMI 로봇 시연 인터페이스 / 로봇 조작