과분할 문제
하나의 행동이 계속되는 동안 예측 종류가 잠깐 바뀌면 불필요한 구간이 생긴다. ASRF는 행동 종류와 경계를 별도로 추정해 이런 과분할 오류를 줄이려 한다.
공유 특징과 두 분기
긴 시간의 문맥을 담은 특징을 두 분기에 함께 제공한다. ASB는 프레임의 행동을 분류하고 BRB는 행동 경계의 확률을 추정한다.
경계로 분류 보완하기
BRB가 예측한 경계를 사용해 ASB의 프레임별 가설을 정제한다. 학습에서는 행동 확률의 변화를 매끄럽게 다루는 손실과 여러 손실 조합도 분석했다.
서로 다른 오차
종류를 잘못 맞힌 오류와 경계를 놓친 오류는 다르다. 프레임별 정확도에 더해 구간 편집 거리와 구간 F1 같은 평가를 보면 예측이 짧게 끊기는 문제를 따로 살필 수 있다.
관련 문서
MS-TCN / ASFormer / ActionFormer / Assembly101 / HA-ViD / EPIC-KITCHENS-100