대응 비용과 시간 관계
프레임과 행동 종류가 얼마나 잘 맞는지만 보면 예측이 시간에 따라 불안정할 수 있다. ASOT는 시간 일관성을 최적 수송 문제에 포함해 연속된 행동 분할을 구한다.
순서를 정하지 않는 분할
동영상에 등장하는 행동 순서를 미리 주지 않고 시간적으로 일관된 분할을 추론한다. 작업 순서가 고정된 자료에만 적용하는 방식과 구분되는 조건이다.
최적화와 자기 학습
구성한 융합 Gromov-Wasserstein 문제를 투영 미러 하강의 반복으로 푼다. 얻은 분할은 비지도 학습의 의사 라벨로 사용한다.
의사 라벨의 오차
추론한 라벨은 사람의 정답 주석과 다르다. 관련 연구는 Breakfast, 50-Salads, YouTube Instructions와 Desktop Assembly에서 평가했으며, 프레임의 군집 품질과 시간 구간의 일관성을 함께 확인해야 한다.
관련 문서
C2F-TCN / ASRF 행동 구간 정제 / MS-TCN / Assembly101 / 최적 수송 / 비지도 학습