초기 구간의 오류
프레임 예측을 행동 구간으로 바꾸면 잘못된 경계나 불필요한 조각이 남을 수 있다. 이 모델은 이런 잡음이 있는 구간 표현을 정제하는 접근이다.
구간과 프레임의 관계
구간 표현과 프레임 표현 사이의 주의로 해당 구간의 정보를 보완한다. 구간 사이의 주의는 여러 행동의 시간적 상관관계를 다룬다.
종류와 경계의 수정
정제한 구간 표현으로 행동 종류를 예측하고 경계를 조정한다. 마지막에는 구간 마스크의 투표를 이용해 시간별 행동 분할을 만든다.
정제의 효과 확인
관련 연구는 50Salads, GTEA와 Breakfast에서 평가하고 구성 요소를 나눈 실험을 수행했다. 종류 분류가 좋아진 효과와 경계·과분할이 개선된 효과를 구분해 읽어야 한다.
관련 문서
ASFormer / ASRF 행동 구간 정제 / MS-TCN / Diffusion Action Segmentation / Assembly101 / 트랜스포머