제안 이후 분류하는 단계 줄이기
시간 구간 후보를 별도로 만든 뒤 분류하는 방식과 달리 ActionFormer는 각 시간 위치에서 종류와 경계를 예측한다. 미리 정한 앵커 창이나 동작 제안에 의존하지 않는 구성을 사용한다. 그렇다고 시간 위치나 특징 해상도와 무관하게 작동하는 것은 아니다.
시간 규모가 다른 동작
손을 짧게 흔드는 동작과 오래 이어지는 행동은 시간 길이가 다르다. 모델은 다중 스케일 특징과 국소 자기 주의로 여러 시간 규모를 처리한다. 넓은 관찰 범위와 세밀한 경계 위치는 각각 확인해야 하는 특성이다.
경계 오차의 상대적 영향
설명용으로 정답 10초 구간을 같은 길이로 1초 옮기면 시간 IoU는 9÷11로 약 0.818이다. 길이 2초인 정답을 1초 옮기면 1÷3으로 약 0.333이다. 같은 절대 경계 이동도 짧은 동작에서는 더 큰 겹침 손실을 낳을 수 있다.
검출 성능의 해석
시간 겹침 기준이 느슨한 결과와 엄격한 결과는 다르다. 동작 종류 분류와 경계 위치가 모두 맞는지 평가해야 한다. 입력 특징을 추출하는 모델 및 비용도 포함해 비교하고, 최종 점수가 높다는 이유로 모든 프레임의 행동을 정확히 이해했다고 해석하지 않는다.
관련 문서
BMN 동작 구간 제안 / BSN 동작 구간 제안 / TimeSformer / MViT / SlowFast / I3D