경계 주석의 부담
긴 영상에 행동의 시작과 끝을 모두 표시하려면 많은 주석 작업이 필요하다. 이 방법은 프레임별 정답 경계를 제공하는 대신 영상 자체의 순차 구조를 학습에 활용한다.
시간을 반영한 표현
프레임 특징에 연속 시간 임베딩을 적용해 행동의 순차적 성질을 표현한다. 만들어진 잠재 공간에서 시간 구간의 군집을 찾고, 여러 영상에 공통된 행동 종류를 발견한다.
영상 내용이 미리 정해지지 않은 경우
모든 영상이 같은 상위 활동을 담고 있다는 가정에만 머무르지 않는다. 상위 활동 내용이 알려지지 않은 영상 집합에도 적용하는 더 일반적인 설정을 다룬다.
평가와 해석
Breakfast, YouTube Instructions, 50Salads에서 평가했다. 발견된 군집은 행동의 의미와 대응하는지 별도 확인해야 하며, 시간적으로 비슷한 위치라는 사실만으로 같은 행동임이 보장되지는 않는다.
관련 문서
TW-FINCH / 시간 최적 수송 기반 온라인 행동 군집화 / HVQ 행동 분할 / C2F-TCN / 임베딩 / 비지도 학습