두 갈래의 표현
행동 분할을 두 가지 서로 다른 표현으로 예측한다. 같은 영상의 분할을 나타내므로 두 표현 사이에 중복되는 정보가 있으며, 이 관계를 학습 신호로 활용한다.
상호 일관성
MuCon 손실은 두 표현이 서로 일관되도록 한다. 한쪽의 출력만 독립적으로 맞추는 대신 두 예측의 관계를 제약하는 방식이다.
행동열 예측 손실
상호 일관성 손실에 행동열 예측 손실을 함께 사용한다. 여기서 행동열은 영상에 등장하는 행동들의 순서이며, 프레임마다 지정한 정답이나 음성 전사문을 뜻하지 않는다.
지도 조건과 비교
약지도 행동 분할을 위해 제안됐지만, 관련 연구는 완전 감독 조건에서도 일관성 손실의 이점을 확인했다. 학습과 추론 속도 비교는 해당 연구의 모델과 실험 조건에 한정해서 해석해야 한다.
관련 문서
NeuralNetwork-Viterbi / CDFL 행동 분할 / 순열 인지 프레임 구간 정렬 / 타임스탬프 감독 행동 분할 / Temporal Segment Transformer / 약지도 학습