특징과 추적을 따로 설계할 때
상관 필터 추적기는 특징 표현의 품질에 영향을 받는다. 다른 작업에서 얻은 특징을 그대로 쓰는 것과 추적 목적에 맞게 학습한 특징을 쓰는 것은 다르다. DCFNet은 상관 추적 계산을 네트워크에 포함해 두 요소를 함께 학습한다.
필터 층을 통한 학습
판별 상관 필터를 샴 신경망의 한 층으로 구성하고 그 계산을 거치는 역전파를 사용한다. 주파수 영역에서 유도한 연산으로 효율을 유지하려는 설계다. 푸리에 변환을 사용한다는 이유만으로 어떤 입력에서도 실행이 빠르다고 단정할 수는 없다.
상관 반응의 예
설명용으로 템플릿 (1, 0)과 후보 조각 (1, 0)의 내적은 1이고 후보 (0, 1)과는 0이다. 위치를 옮겨가며 비교하면 일치하는 구간을 찾는 단서가 된다. 실제 판별 필터의 학습 및 다채널 상관 계산 전체를 표현한 예는 아니다.
학습된 특징의 한계
특징을 추적에 맞게 학습해도 가림과 유사한 외형의 배경은 잘못된 반응을 만들 수 있다. 템플릿 갱신과 탐색 범위, 대상 크기 변화의 처리 조건을 확인한다. 비교에서는 입력 해상도와 기기를 맞추고 특징 추출 및 필터 갱신 비용을 포함해 정확도와 지연을 함께 측정한다.
관련 문서
SiamFC / DiMP / ATOM 객체 추적 / PrDiMP / 합성곱 신경망 / 푸리에 변환