어느 단계의 모델인가
원본 화소에서 시각 특징을 만드는 단계와 시간 시퀀스에서 동작 경계를 찾는 단계는 구분된다. TemporalMaxer는 추출된 클립 특징을 입력으로 다룬다. 전체 영상 처리에 학습 모델이 전혀 필요 없다는 뜻은 아니다.
국소 최대 풀링
이웃한 클립 특징에서 큰 값을 선택해 정보를 모으는 매개변수 없는 풀링 블록을 사용한다. 특징 추출기가 이미 담고 있는 정보를 활용하면서 시간 처리부를 간단하게 만드는 것이 목적이다. 최대 값이 반드시 실제 사건의 중요도를 직접 나타내는 것은 아니다.
선택이 잃을 수 있는 정보
설명용으로 특징 시퀀스 (1, 7, 3)과 (7, 1, 3)의 전체 최대 값은 모두 7이다. 최대 값만 남기면 어느 위치에서 그 값이 나왔는지 잃을 수 있다. 실제 모델은 국소 영역과 여러 처리 단계를 사용하므로 이 예가 전체 출력을 뜻하지는 않는다.
간단한 모듈의 평가
시간 처리부의 매개변수와 연산이 적어도 앞단 특징 추출 비용은 남는다. 동일한 입력 특징과 시간 해상도에서 비교해야 차이를 판단하기 쉽다. 긴 동작과 짧은 동작의 경계 정확도, 엄격한 겹침 기준의 성능 및 전체 실행 지연을 함께 확인한다.
관련 문서
ActionFormer / BMN 동작 구간 제안 / BSN 동작 구간 제안 / SlowFast / I3D / X3D