함께 움직이는 점의 단서
같은 물체에 있는 여러 점의 움직임에는 관계가 있을 수 있다. 일부 점이 잠시 가려져도 다른 점의 관측이 추정의 단서가 된다. CoTracker는 점들을 함께 처리해 이런 의존 관계를 활용한다. 모든 점이 반드시 같은 강체에 있다고 가정하는 뜻은 아니다.
짧은 창과 긴 궤적
모델은 짧은 시간 창에서 동작하고 이를 이어 긴 구간의 추적을 수행한다. 학습에서는 여러 창을 펼친 순환 구조를 활용한다. 창을 연결한다고 가림 동안 실제 위치를 계속 측정한 것은 아니며 보이지 않는 점의 위치에는 모호함이 남는다.
직접 쌍의 비용 예
설명용으로 점 100개 사이의 순서 있는 쌍은 10,000개이고 1,000개이면 1,000,000개다. 점 수가 열 배면 쌍 수는 백 배가 된다. 실제 모델은 토큰 프록시 등 효율화 구성을 사용하므로 이 계산을 전체 연산량과 동일시하면 안 된다.
공동 추적의 평가
점 간 관계가 유용해도 다른 물체끼리 섞이거나 변형이 큰 표면에서는 오차가 생길 수 있다. 가려진 구간과 화면 밖 구간을 구분해 위치 및 가시성 평가를 확인한다. 시간 창, 입력 해상도와 점 개수를 맞추고 전체 지연 및 메모리를 함께 비교한다.
관련 문서
TAPIR / RAFT 광류 추정 / 광류 / STCN / XMem / 트랜스포머