복원부에도 필요한 계산
많은 입력을 가려 인코더 비용을 줄여도 디코더가 많은 토큰을 처리하면 복원부 비용이 남는다. VideoMAE V2는 두 부분에서 처리할 토큰을 제한한다. 앞단 입력이 줄었다는 이유만으로 전체 학습이 같은 비율로 가벼워진다고 가정하지 않는다.
두 마스킹의 역할
인코더는 보이는 일부 토큰을 특징으로 바꾸고 디코더는 별도로 선택된 토큰 범위를 처리한다. 두 마스크의 선택과 복원 목표는 구분되는 구성 요소다. 디코더가 읽는 토큰에 원래 가린 영상의 정답 화소를 입력한다는 뜻은 아니다.
남은 비용의 예
설명용으로 전체 비용이 인코더 60, 디코더 40이라고 하자. 인코더 비용만 절반으로 줄이면 합은 70이다. 이어 디코더 비용도 절반으로 줄이면 합은 50이다. 실제 모델의 속도 측정값이 아니라 어느 부분의 비용을 줄였는지 구분하는 계산이다.
규모와 학습 단계
다양한 출처의 비라벨 영상에서 먼저 학습하고 이후 혼합된 라벨 데이터에서 후속 사전 학습하는 단계적 구성을 사용한다. 구조, 데이터와 학습 절차가 함께 바뀌므로 성능 차이를 마스킹 하나의 효과로 모두 돌릴 수는 없다. 후속 작업별 전이와 계산 자원을 함께 평가한다.
관련 문서
VideoMAE / TimeSformer / ViViT / MViT / Video Swin Transformer / 비전 트랜스포머