구간에서 되돌아오는 정보
프레임과 행동 표현을 대응시켜도 구간 수준 정보가 다시 학습에 충분히 전달되지 않을 수 있다. CLOT는 여러 수준 사이의 순환 피드백으로 이 문제를 다룬다.
두 수준의 최적 수송
인코더·디코더 구조에서 서로 다른 두 최적 수송 문제로 의사 라벨과 프레임·구간 임베딩을 학습한다. 구간 표현을 단순한 최종 출력으로만 두지 않는다.
교차 주의와 추가 정제
학습한 프레임 표현과 구간 표현 사이의 교차 주의에 세 번째 최적 수송 문제를 결합한다. 이를 통해 프레임 임베딩과 의사 라벨을 함께 다듬는다.
순환 학습의 검증
네 벤치마크에서 순환 학습의 효과를 평가했다. 구성 요소별 결과와 프레임 및 구간 지표를 나누어 보면 표현 변화와 분할 품질의 관계를 확인할 수 있다.
관련 문서
ASOT 행동 분할 / C2F-TCN / Temporal Segment Transformer / ASRF 행동 구간 정제 / 최적 수송 / 비지도 학습