상호 보완하는 특징
프레임 수준의 세부 정보와 행동 수준의 시간 관계는 서로 다른 단서를 담는다. FACT는 두 특징을 동시에 처리하면서 반복적으로 정보를 전달해 개선한다.
두 경로의 역할
프레임 경로는 합성곱으로 프레임 정보를 배우고, 행동 경로는 트랜스포머와 행동 토큰으로 행동 사이의 의존성을 학습한다. 교차 주의가 두 경로의 통신을 맡는다.
행동 토큰과 구간
각 행동 토큰이 하나의 행동 구간을 고유하게 표현하도록 새로운 매칭 손실을 사용한다. 토큰을 단순히 영상 전체의 모호한 요약으로 두지 않기 위한 제약이다.
행동열 활용과 평가
문자 형태의 행동열도 분할을 돕는 정보로 활용할 수 있다. 두 1인칭, 두 3인칭 영상 데이터셋에서 행동열을 사용하는 조건과 사용하지 않는 조건을 나누어 평가했다.
관련 문서
MuCon 행동 분할 / UVAST / Temporal Segment Transformer / ASFormer / MS-TCN / 교차 주의