프레임의 패치 시퀀스
영상에는 한 화면 안의 위치 관계와 서로 다른 시점 사이의 관계가 함께 있다. TimeSformer는 프레임별 패치를 입력 표현으로 바꾸고 이런 관계를 학습한다. 관절 좌표만을 입력으로 받는 자세 추정 모델과 입력 정보가 다르다.
시간과 공간을 나누기
분리 주의는 블록 안에서 시간 방향 주의와 공간 방향 주의를 따로 적용한다. 모든 시공간 패치 쌍을 한 번에 처리하는 방식과 관계를 구성하는 경로가 다르다. 비교한 설계 안에서의 결과를 모든 영상 작업에 항상 우월하다는 뜻으로 확대할 수는 없다.
패치 수의 예
설명용으로 각 프레임을 4×4 패치로 나누고 8프레임을 읽으면 패치는 128개다. 이들 전체의 순서 있는 쌍은 16,384개다. 실제 주의 계산은 분리 방식과 특수 토큰, 채널 수에 따라 달라지므로 이 수를 모델의 총 연산량으로 볼 수는 없다.
관찰 범위와 평가
프레임 수가 같아도 표본 간격이 달라지면 관찰하는 시간 범위가 달라진다. 정확도뿐 아니라 해상도, 클립 수와 계산량을 함께 비교한다. 전체 구간을 읽는 영상 분류의 성능과 입력이 순서대로 도착하는 온라인 인식의 지연은 구분해야 한다.
관련 문서
SlowFast / X3D / PoseC3D / PoseFormer / 트랜스포머 / 비전 트랜스포머