상자가 아니라 표면의 점
객체 상자는 대상을 감싸는 영역이고 점 궤적은 표면의 특정 위치가 영상에서 어디로 이동하는지를 나타낸다. 상자 중심이 같은 방식으로 움직여도 회전하는 표면의 점은 다른 경로를 그릴 수 있다. TAPIR는 지정한 점의 대응을 추정한다.
대응과 정제의 두 단계
각 프레임에서 질의점과 맞는 후보를 독립적으로 찾고 이후 국소 상관에 기반해 궤적과 특징을 정제한다. 초기 후보가 곧 최종 확정 위치라는 뜻은 아니다. 시간 정보는 잘못된 초기 대응을 조정하는 단서가 될 수 있다.
이동량의 예
설명용으로 점이 (12, 8)에서 (17, 6)으로 이동하면 화면 변위는 (5, −2)이고 길이는 √29로 약 5.39화소다. 실제 공간에서의 이동 거리는 카메라와 깊이 정보 없이는 이 값만으로 알 수 없다. 좌표축의 방향도 명시해야 한다.
가림과 표면 대응
점이 가려지거나 화면 밖으로 나가면 위치는 직접 관측한 값이 아니라 추정일 수 있다. 가시성과 위치 오차를 함께 평가해야 한다. 점 개수, 영상 길이 및 해상도에 따른 비용을 확인하고 프레임별 변위가 비슷하다는 이유만으로 같은 표면점을 따라갔다고 단정하지 않는다.
관련 문서
CoTracker / RAFT 광류 추정 / 광류 / STCN / XMem / OSTrack