어디에 동작이 있는가
긴 영상에는 동작과 직접 관련 없는 시간이 포함될 수 있다. 전체 영상을 한 이름으로 분류하는 것만으로는 동작이 발생한 구간을 알기 어렵다. BSN은 동작의 종류를 최종 결정하기 전 사용할 시간 구간을 생성하는 데 초점을 둔다.
경계에서 구간으로
지역적인 처리에서 시작과 종료의 가능성이 높은 시점을 찾고 이를 연결해 후보를 만든다. 이어 구간 수준의 특징으로 동작이 포함됐을 신뢰도를 평가한다. 시작 점수 하나가 높다고 뒤에 연결한 모든 구간이 타당한 것은 아니다.
겹침의 계산 예
설명용으로 정답 구간이 2초부터 6초, 제안이 3초부터 7초라면 겹치는 길이는 3초이고 합집합 길이는 5초다. 시간 IoU는 0.6이다. 길이가 비슷하더라도 경계가 어긋나면 겹침이 낮아질 수 있음을 보여준다.
제안 개수와 품질
후보를 많이 만들면 정답을 포함할 가능성이 커질 수 있지만 이후 분류 비용도 증가한다. 같은 제안 개수에서 재현율과 시간 겹침을 함께 확인해야 한다. 구간 제안 성능과 동작 분류기를 결합한 최종 시간 검출 성능은 구분되는 결과다.
관련 문서
TSN 동작 인식 / TRN 동작 인식 / I3D / SlowFast / TimeSformer / 합성곱 신경망