시간 순서의 행동
일상 활동에서는 여러 행동이 이어지고 각 행동의 지속 시간이 다르다. ASFormer는 프레임 간 관계와 여러 행동 구간의 시간 관계를 이용해 분할하는 모델이다.
지역 연결성의 역할
학습 자료가 적을 때 모든 관계를 자유롭게 학습하면 적절한 함수를 찾기 어려울 수 있다. 지역 연결성 사전을 넣어 특징의 강한 지역성을 반영한다.
긴 입력과 디코더
미리 정한 계층적 표현 패턴으로 긴 시퀀스를 처리한다. 디코더는 인코더가 만든 초기 예측을 시간 관계에 따라 보완하도록 설계했다.
경계와 분류의 평가
지역적인 문맥을 쓰더라도 행동 경계가 항상 명확해지는 것은 아니다. 프레임 분류와 구간의 분할 오류를 구분하고 시퀀스 길이 및 학습 자료가 달라질 때 결과를 확인해야 한다.
관련 문서
MS-TCN / Assembly101 / HA-ViD / HOI4D / EPIC-KITCHENS-100 / 트랜스포머