프레임열에서 구간열로
프레임마다 행동 종류를 직접 예측하는 대신 긴 프레임열을 상대적으로 짧은 행동 구간열에 대응시킨다. 여기서 번역은 자연어 언어 간 번역이 아니라 서로 다른 형태의 시퀀스 변환이다.
긴 입력과 짧은 출력
표준 트랜스포머 시퀀스 변환 모델을 긴 영상 입력과 적은 영상 수에 맞게 수정한다. 인코더에는 프레임별 손실을 보조 감독 신호로 제공한다.
지속 시간의 정렬
별도 정렬 디코더가 구간의 지속 시간을 간접적으로 예측한다. 어떤 행동들이 등장하는지뿐 아니라 각 행동에 프레임을 얼마나 배정하는지도 필요하기 때문이다.
타임스탬프로 확장하기
제약된 k-medoids 알고리즘으로 의사 분할을 만들어 타임스탬프 감독에 적용한다. 완전 감독 실험과 타임스탬프 실험은 제공되는 주석이 다르므로 같은 조건으로 해석해서는 안 된다.
관련 문서
타임스탬프 감독 행동 분할 / MuCon 행동 분할 / Temporal Segment Transformer / 순열 인지 프레임 구간 정렬 / ASFormer / 트랜스포머