일부 점에서 많은 위치로
모든 화소를 각각 긴 구간에서 추적하면 비용이 클 수 있다. DOT는 기존 점 추적기로 움직임 경계 부근의 주요 위치에서 궤적을 얻는다. 이를 바탕으로 더 많은 위치의 대응을 계산한다. 희소 입력과 조밀 출력의 관계가 핵심이다.
초기 보간과 학습형 정제
원본과 목표 프레임 사이의 조밀 변위 및 가시성 초기값을 최근접 보간으로 만든다. 이어 가림을 명시적으로 다루는 광류 추정기가 결과를 정제한다. 보간 값만을 완성된 정답으로 취급하는 방식은 아니다.
움직임 경계의 예
설명용으로 이웃한 두 점의 가로 변위가 각각 0과 10화소라고 하자. 하나는 배경이고 다른 하나는 움직이는 물체일 수 있다. 중간 위치를 무조건 5화소로 평균내면 어느 표면에도 맞지 않을 수 있다. 점 사이의 거리뿐 아니라 움직임 경계와 가시성이 중요하다.
조밀 추적의 검증
추적점이 잘못되면 보간과 정제에도 영향이 이어질 수 있다. 가림 뒤의 재등장과 서로 다른 표면의 경계를 나누어 평가한다. 점 궤적 생성과 조밀 정제 비용을 모두 포함하고 입력 해상도, 질의 프레임 및 목표 프레임 간격을 맞춰 정확도와 속도를 비교한다.
관련 문서
PIPs 점 추적 / TAPIR / CoTracker / RAFT 광류 추정 / 광류 / TAP-Vid