STARK

대상과 검색 영역의 관계

인코더는 대상과 검색 영역 특징 사이의 전역적인 시공간 의존 관계를 처리한다. 디코더는 학습된 질의 임베딩을 이용해 대상 위치를 예측한다. 여기서 질의는 사용자가 입력하는 검색어가 아니라 모델 내부의 학습 표현이다.

모서리로 상자 표현하기

완전 합성곱 예측부에서 객체의 모서리를 추정해 상자를 만든다. 별도의 제안이나 미리 정한 앵커를 사용하지 않는 구성이지만 좌표의 정의와 입력 크기는 여전히 중요하다. 상자 출력과 화소별 객체 분할도 서로 다른 작업이다.

상자 좌표의 예

설명용으로 왼쪽 위가 (10, 20), 오른쪽 아래가 (50, 70)이면 연속 좌표에서 너비는 40, 높이는 50이다. 중심은 (30, 45)다. 화소를 포함해 세는 정수 격자의 규약과 혼동하면 크기가 달라질 수 있으므로 좌표 정의를 맞춰야 한다.

직접 예측의 평가

상자를 직접 출력한다고 가림이나 급격한 움직임의 모호함이 없어지는 것은 아니다. 학습 및 입력 조건을 맞추고 위치와 크기의 오차를 따로 확인해야 한다. 후처리를 줄인 설계와 실제 기기에서의 실행 지연도 구분하고 장기 추적 조건에서는 재등장한 대상을 유지하는지 평가한다.