먼저 시연을 해석하기
오프라인 단계에서는 조작한 물체를 분할하고 그 움직임을 구한다. 용기처럼 함께 등장하는 다른 물체와의 상대 관계로 이동을 표현한다.
현재 장면으로 옮기기
온라인 단계에서 물체들을 다시 검출한 뒤 시연 궤적을 현재 장면에 맞게 뒤틀어 변환한다. 변환한 궤적을 로봇이 실행하므로 원 영상의 절대 위치를 단순 재생하는 것과 다르다.
보조 모델의 역할
분할과 상대 물체 자세 추정 및 파지 예측 모델이 각 단계를 지원한다. 단일 시연이라는 조건은 이런 시각 모델의 사전 학습까지 필요 없다는 의미가 아니다.
대응과 재검출의 평가
연구는 서로 다른 대응점 및 재검출 방법의 조합을 비교하고 실제 로봇에서도 평가했다. 새로운 장면의 물체를 올바르게 찾는 능력은 궤적 변환이 성립하는 데 중요한 조건이다.