알려진 순서와 모르는 경계
훈련 영상에 등장하는 행동 순서는 주어지지만 각 행동의 시작과 끝 프레임은 알려지지 않는다. 따라서 경계를 모두 제공하는 지도 분할과는 감독 정보가 다르다.
단일 분할을 넘어선 비교
하나의 추정 분할만으로 손실을 구하는 대신, 정답 순서를 지키는 라벨링과 이를 어기는 라벨링의 에너지를 구분한다. 순서 제약을 만족하는지가 유효성의 기준이다.
전방 손실의 계산
GRU를 기반으로 하는 HMM을 이 손실로 학습한다. 분할 에너지의 logadd 연산을 사용하는 재귀 알고리즘으로 손실을 계산해 여러 분할 후보를 다룬다.
분할과 정렬 평가
Breakfast Action, Hollywood Extended, 50Salads에서 행동 분할과 정렬을 평가했다. 행동 종류뿐 아니라 주어진 순서에 각 프레임을 어떻게 대응시키는지도 중요한 결과다.
관련 문서
NeuralNetwork-Viterbi / 시간 최적 수송 기반 온라인 행동 군집화 / 순열 인지 프레임 구간 정렬 / ASFormer / 은닉 마르코프 모델 / GRU