위키득계정 ↗
기술

TrackFormer

TrackFormer기술
관련 논문
Multi-Object Tracking with Transformers
구조
인코더 및 디코더 트랜스포머
질의 종류
객체 질의와 추적 질의
작업
프레임별 다중 객체 추적
TrackFormer는 프레임 사이의 다중 객체 추적을 집합 예측으로 구성한 트랜스포머 모델이다. 새 대상을 찾는 객체 질의와 기존 대상을 이어가는 추적 질의를 사용해 시간에 따른 객체 예측을 갱신한다.

대응 관계를 주의로 처리하기

검출 상자를 만든 뒤 별도 규칙으로만 이어 붙이는 대신 프레임 특징에 대한 주의로 대상 예측을 갱신한다. 추적 질의에는 이어갈 대상의 정보가 담긴다. 질의는 사용자에게 입력받는 문장이나 데이터베이스 검색문을 뜻하지 않는다.

새 대상과 기존 대상

정적인 객체 질의는 새로운 궤적을 초기화하는 데 쓰이고 추적 질의는 기존 대상을 시간에 따라 이어간다. 두 질의 종류가 함께 프레임의 전역 특징을 활용한다. 모델이 예측한 식별 정보가 현실의 사람 이름을 알아낸다는 뜻은 아니다.

대상 수 변화의 예

설명용으로 이전 프레임에 A와 B가 있고 다음 프레임에 C가 새로 등장했다고 하자. A와 B의 연결을 유지하는 일과 C를 새 대상으로 추가하는 일은 다르다. A가 가려진 경우를 실제 퇴장과 구분하는 것도 필요하며 모든 판단이 항상 정확하지는 않다.

학습 방식과 실행 비교

종단 간 학습은 추적 구성을 함께 최적화한다는 의미다. 입력 처리와 모델 설정까지 모두 사라진다는 뜻은 아니다. 검출 누락, 새 대상 등록과 식별자 전환을 나누어 평가하고 해상도, 학습 데이터 및 객체 수에 따른 비용을 맞춰 비교한다.

관련 문서

MOTR / DeepSORT / ByteTrack / FairMOT / 트랜스포머 / BoT-SORT