위키득계정 ↗
기술

C2F-TCN

C2F-TCN기술
구조
인코더·디코더
출력 결합
거친 수준에서 세밀한 수준으로 앙상블
증강
구간의 확률적 최대 풀링
반지도 방식
Iterative-Contrastive-Classify
C2F-TCN은 거친 수준부터 세밀한 수준까지 디코더 출력을 결합하는 시간적 행동 분할 모델이다. 지도 학습과 표현 학습에 활용할 수 있으며, ICC 방식으로 주석이 있는 영상과 없는 영상을 함께 다룬다.

여러 시간 해상도의 결합

긴 동영상에는 길이가 다른 행동들이 이어진다. C2F-TCN은 디코더의 여러 수준 출력을 결합해 프레임마다 행동을 예측한다.

시간 특징의 증강

구간을 확률적으로 최대 풀링하는 모델 비의존 증강을 제시한다. 시간 특징의 변화를 만들어 학습을 보강하며 원본 영상의 모든 화소를 새로 생성하는 방법과는 다르다.

표현 학습과 ICC

입력 특징의 군집 성질과 디코더의 다중 해상도 표현으로 프레임별 표현을 비지도 학습한다. 이를 지도 학습과 결합한 ICC는 주석 자료를 늘리며 반지도 성능을 조사한다.

주석 비율의 평가

같은 비율의 주석이라도 어떤 영상이 포함되는지에 따라 결과가 달라질 수 있다. 전체 지도 학습과 비교할 때는 사용한 정답 범위, 분할 방식과 프레임·구간 지표를 맞춰야 한다.

관련 문서

MS-TCN / ASFormer / ASRF 행동 구간 정제 / Temporal Segment Transformer / Assembly101 / 반지도 학습