순서에 위치 정보 더하기
행동 목록은 무엇이 어떤 순서로 등장하는지 알려주지만 영상의 어느 지점인지는 알려주지 않는다. 타임스탬프 주석은 특정 시점에 어떤 행동이 나타나는지도 제공한다.
프레임 라벨 만들기
모델의 출력과 주석된 시점을 함께 사용해 행동이 달라지는 곳을 찾고 프레임별 라벨을 생성한다. 사람이 모든 경계를 직접 표시하는 방식과는 구별된다.
신뢰도 손실
주석 시점과의 거리가 늘어날수록 예측 확률이 단조 감소하도록 제약한다. 가장 특징적인 일부 프레임에만 학습이 치우치는 것을 줄이기 위한 설계다.
주석 비용과 성능
네 데이터셋에서 타임스탬프 기반 학습을 평가했다. 당시 실험에서 완전 감독 방식에 견줄 만한 결과를 보고했지만, 주석 위치와 자료 조건이 바뀌어도 같은 성능을 보장하는 것은 아니다.
관련 문서
CDFL 행동 분할 / NeuralNetwork-Viterbi / ASRF 행동 구간 정제 / MS-TCN / 약지도 학습 / 행동 인식