위키득계정 ↗
기술

MOTR

MOTR기술
관련 논문
End-to-End Multiple-Object Tracking with Transformer
기반
DETR
시간 표현
프레임별 추적 질의 전달
학습 구성
궤적을 고려한 라벨 할당
MOTR은 추적 질의를 프레임마다 전달하고 갱신해 영상의 객체 궤적을 예측하는 트랜스포머 모델이다. DETR의 집합 예측을 확장하고 기존 궤적 및 새 대상의 학습을 함께 다루는 다중 객체 추적 방법이다.

프레임을 넘어가는 질의

MOTR의 추적 질의는 한 프레임의 예측 후 다음 프레임으로 전달된다. 같은 객체의 상태를 시간에 걸쳐 갱신하는 표현으로 사용한다. 매 프레임 독립된 객체 검출만 수행하는 것과 목적이 다르다.

궤적과 새 대상의 학습

기존 추적 질의와 새 객체 질의를 함께 학습하기 위해 궤적을 고려한 라벨 할당을 사용한다. 시간 정보를 모으는 네트워크와 시퀀스의 손실 구성도 포함한다. 질의 전달 하나만으로 모든 학습 요소를 대신할 수는 없다.

한 번의 오류가 이어지는 예

설명용으로 A를 따라가던 상태가 가림 뒤 B의 관측으로 갱신됐다고 하자. 이후 위치 예측이 부드럽게 이어져도 A의 식별은 잃은 것이다. 시간적으로 일관된 출력과 올바른 대상의 연속성은 다르며 실제 정답 궤적과 비교해야 한다.

종단 간 추적의 평가

추적 단계의 규칙을 학습에 포함해도 가림과 비슷한 외형의 대상, 급격한 운동은 어려운 조건이다. 검출 정확도와 연결 정확도 및 식별자 전환을 따로 확인한다. 비교에서는 학습 시퀀스, 입력 해상도와 검출 비용을 포함한 전체 실행 조건을 맞춰야 한다.

관련 문서

TrackFormer / ByteTrack / FairMOT / DeepSORT / OC-SORT / 트랜스포머