영상 사이의 일관성
한 장씩 독립적으로 복원한 결과는 프레임마다 형상이나 위치가 흔들릴 수 있다. InterTrack은 단일 시점 복원을 출발점으로 사용하면서 시간적인 대응 관계를 추가한다.
사람과 물체의 추적
사람 쪽에서는 자동 인코더가 프레임별 복원으로부터 SMPL 꼭짓점을 예측해 일관된 대응을 만든다. 물체 쪽에서는 시간 정보를 이용해 가림 속에서도 회전을 부드럽게 추정한다.
합성 동영상의 활용
학습을 위해 삼차원 정답을 가진 약 8천500개 시퀀스, 총 10시간의 합성 상호작용 영상을 만들었다. 이 자료로 학습한 동영상 기반 방법의 실제 영상 일반화도 조사했다.
템플릿 조건과 추적 품질
물체 템플릿을 요구하지 않는 것과 항상 정확한 형상을 얻는 것은 다르다. 초기 프레임 복원, 시간별 자세와 기준 형상의 결과를 구분하면 오차가 생기는 단계를 살필 수 있다.
관련 문서
BEHAVE 상호작용 데이터셋 / InterCap / HOLD 손 물체 복원 / Hand3R / 삼차원 재구성 / 컴퓨터 비전