SimTrack

백본 안에서 상호작용하기

기존 샴 추적기는 입력별 특징 추출과 이후의 관계 처리를 구분하는 경우가 많다. SimTrack은 입력 이미지를 시퀀스로 바꾸어 연결하고 한 백본 안에서 함께 처리한다. 공통 처리 과정에서 입력 사이의 관계를 학습하는 접근이다.

단순한 구조의 의미

별도로 설계한 상호작용 모듈을 줄이는 것이 핵심이다. 단순하다는 이름이 모든 층의 계산이 사라지거나 사전 학습이 필요 없다는 뜻은 아니다. 입력 크기와 패치 구성에 따른 백본의 비용은 여전히 존재한다.

패치화의 정보 손실 예

설명용으로 너비 4화소인 작은 대상이 너비 16화소 패치 안에 들어간 경우를 생각하자. 패치 특징이 주위 배경과 함께 만들어져 대상의 세부 정보가 약해질 수 있다. 이는 크기 관계의 예이며 실제 모델의 패치 설정이나 검출 한계값을 뜻하지 않는다.

중심와 창과 평가

SimTrack은 다운샘플링의 정보 손실을 줄이기 위해 더 다양한 입력 패치를 제공하는 중심와 창 전략을 제시한다. 작은 대상, 배경과 비슷한 외형 및 빠른 움직임의 결과를 나누어 평가해야 한다. 백본과 입력 전략이 함께 바뀌므로 각각의 기여와 전체 실행 비용도 구분해 비교한다.