한 모델에서 두 입력 다루기
이미지는 공간 구조를, 영상은 공간과 시간 구조를 가진다. OmniMAE는 두 종류를 따로 학습한 모델로만 다루는 대신 공통 모델에서 마스킹 복원을 학습한다. 이미지와 영상을 같은 시각 표현 학습에 활용하는 것이 목표다.
많은 패치를 가리는 이유
남은 일부 패치에서 가린 부분을 복원하도록 해 모든 패치를 인코더에 넣는 부담을 줄인다. 이미지와 영상에 적용하는 마스킹 비율은 다를 수 있다. 같은 비율을 쓴다고 두 입력이 같은 양의 정보를 제공하는 것도 아니다.
비율과 개수의 예
설명용으로 이미지 패치 100개에서 90%를 가리면 10개가 남는다. 영상 패치 400개에서 95%를 가리면 20개가 남는다. 가림 비율은 영상 쪽이 높지만 보이는 패치의 절대 개수는 더 많다. 이 수는 실제 모델의 고정 입력 설정이 아니다.
공통 표현과 작업별 평가
공통 사전 학습 후 이미지 분류와 영상 분류에는 각각 후속 작업에 맞는 미세 조정과 평가가 필요하다. 이미지 성능이 높다는 사실만으로 시간 순서에 민감한 동작을 잘 구분한다고 단정할 수 없다. 입력 데이터의 구성과 학습량도 함께 비교해야 한다.
관련 문서
VideoMAE / MaskFeat / ViViT / MViT / TimeSformer / 비전 트랜스포머