객체 상자보다 세밀한 질문
같은 물체 안에서도 표면의 각 점은 회전과 변형에 따라 다르게 움직인다. TAP-Vid는 상자 전체의 이동뿐 아니라 지정한 물리적 표면점의 대응을 평가한다. 같은 위치 부근에 계속 점을 찍는 것과 같은 표면점을 따라가는 것은 다르다.
실제와 합성의 장단점
합성 영상에서는 장면의 생성 정보를 이용해 정확한 궤적을 얻을 수 있다. 실제 영상은 다양한 외형과 움직임을 담지만 주석이 더 어렵다. 두 종류를 함께 평가해도 합성 장면에서 좋은 결과가 실제 장면의 성능을 자동으로 보장하지는 않는다.
주석을 돕는 광류
반자동 주석 과정은 광류 추정으로 카메라 흔들림 같은 비교적 쉬운 짧은 움직임을 보조하고 어려운 구간에 사람의 작업을 집중하도록 구성한다. 보조 추정이 들어간다고 주석 오류가 원천적으로 없어지는 것은 아니며 주석 과정의 검증도 필요하다.
평가 조건의 예
설명용으로 영상 너비가 100에서 200으로 바뀌면 같은 상대 위치 (0.25, 0.5)의 가로 좌표는 25에서 50으로 바뀐다. 좌표 규약을 맞추지 않으면 추적 오차를 잘못 계산할 수 있다. 질의 시점, 가림 상태와 좌표 정규화 조건을 함께 확인해 결과를 비교한다.
관련 문서
TAPIR / CoTracker / BootsTAP / 광류 / RAFT 광류 추정 / STCN