위키득계정 ↗
기술

BMN 동작 구간 제안

BMN 동작 구간 제안기술
영문
Boundary-Matching Network
작업
시간적 동작 구간 제안
구간 표현
시작 및 종료 경계의 쌍
주요 출력
경계 정보와 구간 신뢰도 맵
BMN은 영상의 시작·종료 경계 쌍으로 시간 구간을 표현하고 많은 후보의 신뢰도를 맵으로 평가하는 모델이다. 경계 위치와 구간의 점수를 함께 학습해 동작 구간을 제안한다.

정확한 경계와 좋은 순위

동작의 시작과 끝을 잘 찾는 것과 좋은 구간을 높은 순위에 놓는 것은 다른 문제다. BMN은 촘촘한 경계 쌍의 신뢰도를 평가하는 경계 매칭을 사용한다. 한 경계가 좋아 보인다는 정보만으로 후보 전체의 품질을 결정하지 않는다.

경계 쌍의 맵

시작과 종료를 연결한 제안들을 신뢰도 맵에서 다루고 경계 추정 부분과 함께 학습한다. 시간상 유효한 구간과 제한된 길이의 후보를 어떻게 다루는지는 구현 설정에 따른다. 모든 맵 위치가 서로 다른 동작 종류를 뜻하는 것은 아니다.

후보 수의 예

설명용으로 경계 시점이 5개이고 시작보다 늦은 시점에서만 끝난다고 하면 서로 다른 양의 길이 구간은 5×4÷2=10개다. 시점이 10개면 45개로 늘어난다. 이는 조합 수의 예이며 실제 BMN의 고정 맵 크기는 아니다.

점수와 최종 검출

높은 제안 점수를 실제 정답 확률로 바로 해석해서는 안 된다. 겹치는 후보의 중복 처리와 후속 동작 분류도 결과에 영향을 준다. 같은 후보 예산과 시간 겹침 기준에서 제안 품질을 확인하고, 최종 동작 검출 성능 및 전체 처리 비용은 별도로 비교한다.

관련 문서

BSN 동작 구간 제안 / TSN 동작 인식 / TRN 동작 인식 / SlowFast / I3D / TimeSformer