한 프레임 변위에서 궤적으로
광류는 흔히 이웃 프레임 사이의 화소 변위를 다룬다. PIPs는 더 넓은 시간 범위에서 한 점의 궤적을 추정하는 문제로 접근한다. 여러 시점의 위치와 외형 단서를 함께 처리해 잠시 보이지 않는 경우를 다룬다.
독립적인 점 처리
여러 질의점을 병렬로 처리할 수 있지만 서로의 궤적 정보를 직접 교환하지 않는 구성이다. 같은 영상 특징을 계산하는 부분의 공유와 점별 궤적 관계의 공유는 다르다. 여러 점의 관계를 학습하는 CoTracker와 구분되는 관점이다.
가려진 경로의 모호함 예
설명용으로 점이 시점 0에 가로 위치 0, 시점 3에 위치 6에 보였다고 하자. 중간의 2, 4는 가능한 직선 경로지만 실제로 돌아서 움직였을 수도 있다. 양끝의 관측만으로 중간 위치가 유일하게 정해지지 않으며 가림 구간의 출력은 추정이다.
시간 창의 한계
위치와 특징을 정제하는 시간 창보다 가림이 오래 이어지면 대상 유지가 어려울 수 있다. 긴 궤적을 구간별로 연결하는 것과 한 번에 모든 시간을 관찰하는 것은 다르다. 보이는 점과 가려진 점의 오차, 질의점 수 및 시간 창에 따른 비용을 나누어 평가한다.
관련 문서
TAPIR / CoTracker / TAP-Vid / BootsTAP / 광류 / RAFT 광류 추정