어느 범위까지 볼 것인가
행동 분할에서 필요한 시간 문맥의 범위를 살펴보기 위해 제안됐다. 가까운 프레임만 보면 긴 영상 전체의 활동 흐름을 놓칠 수 있고, 모든 프레임 쌍의 주의는 계산 부담이 커질 수 있다.
전체 문맥의 희소 주의
희소 주의를 활용해 영상 전체의 문맥을 포착한다. 전체 시간 범위를 다룬다는 것이 모든 프레임 쌍을 같은 방식으로 조밀하게 비교한다는 뜻은 아니다.
국소 창과의 결합
시간 창 안의 주의로 인접 프레임의 정보를 모델링한다. 가까운 변화와 긴 범위 관계의 역할을 구별하면서 하나의 행동 분할 표현에 반영한다.
실험의 결론과 범위
세 행동 분할 자료에서 전체 문맥 활용의 이점을 확인했다. 해당 실험의 결론을 모든 종류의 영상과 온라인 인식에 필요한 조건으로 확대해서는 안 된다.
관련 문서
ASFormer / Global2Local 행동 분할 구조 탐색 / FACT 행동 분할 / BaFormer / Assembly101 / 희소 주의