두 수준의 예측
각 프레임의 행동을 구하는 것과 동영상에 나타난 행동열을 구하는 것은 서로 다른 예측이다. 이 방법은 프레임 정보만 사용하는 대신 두 수준의 단서를 함께 학습한다.
프레임 인코더
트랜스포머 인코더가 프레임별 행동 종류를 추정한다. 시간 최적 수송을 이용해 사람의 프레임 정답 없이 이 모듈을 학습한다.
행동열과 정렬
디코더는 동영상의 행동열을 예측하며, 별도 모듈이 프레임 특징과 구간 특징을 대응시킨다. 여기서 행동열은 음성 인식의 발화 전사가 아니라 행동 종류의 순서를 가리킨다.
의사 라벨과 평가
시간 최적 수송에서 착안한 의사 라벨로 모듈들을 비지도 학습한다. 50 Salads, YouTube Instructions, Breakfast, Desktop Assembly에서 분할 성능을 평가했다.
관련 문서
시간 최적 수송 기반 온라인 행동 군집화 / ASOT 행동 분할 / CLOT 행동 분할 / Temporal Segment Transformer / ASFormer / 비지도 학습