행동 구간을 찾기
영상 전체에 하나의 이름을 붙이는 것과 달리 언제 어떤 행동이 일어나는지 프레임 단위로 예측한다. 한 행동이 불필요하게 여러 조각으로 끊기는 과분할이 중요한 오류다.
다음 단계의 정제
각 단계는 팽창 시간 합성곱으로 예측을 만들고 다음 단계가 이를 다듬는다. 시간 간격을 넓혀 보는 합성곱으로 긴 범위의 관계를 처리한다.
분류와 평활화
행동 종류를 맞히는 목적과 과분할 오류를 줄이는 목적을 결합한다. 가까운 프레임을 무조건 같은 행동으로 만드는 것과는 구분해야 한다.
평가 단위
연구는 50Salads, GTEA와 Breakfast에서 평가했다. 프레임별 정확도가 높아도 짧은 잘못된 구간이 많을 수 있으므로 구간의 경계와 순서도 별도로 확인해야 한다.
관련 문서
Assembly101 / HA-ViD / EPIC-KITCHENS-100 / HOI4D / 시간 합성곱 신경망 / 컴퓨터 비전