영상의 토큰화
정지 영상과 달리 영상에는 시간축이 추가된다. ViViT는 시공간 영역을 표현하는 토큰을 만들고 그 관계를 트랜스포머 층에서 학습한다. 토큰을 만드는 구간의 크기와 시간 표본 간격은 모델이 관찰하는 정보에 영향을 준다.
긴 시퀀스를 나누어 처리하기
화면을 세밀하게 나누고 프레임을 많이 읽으면 토큰 수가 커진다. ViViT는 공간 관계와 시간 관계를 분해하는 여러 변형으로 이 문제를 다룬다. 분해 구성이 다른 모델을 모두 동일한 연산 경로로 해석하면 안 된다.
관찰 범위의 예
설명용으로 연속된 프레임을 하나씩 건너뛰어 8장 읽는다면 첫 표본부터 마지막 표본까지 원본의 14프레임 간격을 포함한다. 초당 30프레임에서는 약 0.467초다. 표본 수 8을 단순히 30으로 나눈 값과 첫끝 관찰 간격은 다르다.
사전 학습과 공정한 비교
이미지에서 사전 학습한 모델과 학습 중 정규화를 활용하는 점도 성능에 영향을 준다. 구조 차이만 비교하려면 사전 학습 데이터와 학습 조건을 맞춰야 한다. 해상도, 프레임 수 및 평가 클립 수를 함께 확인하고 영상 분류 정확도와 실제 처리 지연은 따로 측정한다.
관련 문서
TimeSformer / VideoMAE / SlowFast / X3D / 비전 트랜스포머 / 트랜스포머