위키득계정 ↗
기술

MixFormer

MixFormer기술
관련 논문
End-to-End Tracking with Iterative Mixed Attention
핵심 모듈
Mixed Attention Module
주요 처리
특징 추출과 대상 정보 통합
템플릿 관리
비대칭 주의 및 점수 예측
MixFormer는 특징 추출과 대상 정보 결합을 혼합 주의 모듈에서 함께 수행하는 객체 추적 모델이다. 템플릿과 검색 영역의 관계를 반복적으로 처리한 뒤 위치 예측부에서 대상 상자를 추정한다.

특징과 관계를 함께 배우기

대상 템플릿의 특징을 따로 만든 뒤 검색 특징과 결합하는 단계만 두기보다 두 입력이 상호작용하며 특징을 만들도록 한다. MixFormer는 혼합 주의 모듈을 쌓아 이 과정을 수행한다. 같은 템플릿도 검색 장면에 따라 다른 구별 단서를 필요로 할 수 있다.

여러 템플릿의 선택

시간이 흐르면 대상의 자세나 조명이 바뀌어 초기 예시만으로 부족할 수 있다. 여러 대상 템플릿을 다루기 위해 비대칭 주의와 품질 점수 예측을 사용한다. 새 관측을 무조건 템플릿에 추가하는 것은 잘못된 대상을 따라가게 할 수도 있다.

갱신 오류의 예

설명용으로 파란 가방을 추적하던 중 파란 의자를 잘못 템플릿으로 저장했다고 하자. 이후 의자와 더 강하게 일치해도 추적 목적에는 맞지 않는다. 템플릿과의 유사성이 높다는 사실과 원래 대상의 식별을 유지했다는 사실은 다르다.

구성과 비교 조건

모듈 반복 수와 템플릿 개수, 갱신 및 선택 방식은 정확도와 비용에 영향을 준다. 비교에서는 같은 초기 상자와 검색 범위를 사용하고 가림 및 외형 변화에 따른 실패를 확인한다. 위치 추정 품질과 템플릿 갱신의 안정성, 전체 지연을 함께 살핀다.

관련 문서

OSTrack / STARK / SiamFC / SiamRPN 플러스 / TrackFormer / 트랜스포머