같은 행동 안의 차이
하나의 행동 이름으로 묶이는 프레임도 시점이나 수행 단계에 따라 모습이 달라질 수 있다. HVQ는 이러한 차이를 군집 내부의 구조로 다룬다.
두 단계의 양자화
벡터 양자화 모듈을 두 번 이어 계층적 군집을 만든다. 추가된 하위 군집은 상위 군집 하나만으로 담기 어려운 내부 변이를 표현한다.
구간 길이의 분포
행동 종류가 맞더라도 구간이 지나치게 잘게 나뉘면 시간 구조가 달라진다. HVQ 연구는 예측된 구간 길이 분포를 비교하는 Jensen-Shannon 거리 기반 지표를 제안했다.
평가 범위
Breakfast, YouTube Instructional, IKEA ASM에서 평가했다. F1과 재현율뿐 아니라 길이 분포 지표를 함께 보면 행동 식별과 시간 구조를 구별해 살펴볼 수 있다.
관련 문서
ASOT 행동 분할 / CLOT 행동 분할 / C2F-TCN / 벡터 양자화 / 비지도 학습 / 군집화