정답 이름 없이 배우기
사전 학습에서는 사람이 붙인 동작 이름 대신 영상 자체의 가린 부분을 복원 대상으로 사용한다. 학습된 표현을 동작 분류 등에 활용하려면 후속 작업에 맞는 학습과 평가가 필요하다. 자기지도 사전 학습이 모든 단계에서 라벨을 없앤다는 뜻은 아니다.
시간 중복과 튜브 마스킹
인접 프레임은 비슷한 내용을 담는 경우가 많아 조금만 가리면 다른 프레임에서 답을 쉽게 가져올 수 있다. VideoMAE는 높은 비율의 튜브 마스킹을 사용한다. 시간에 걸친 가림을 구성해 남은 관측에서 유용한 표현을 배우도록 한다.
가리는 비율의 예
설명용으로 마스킹 단위가 200개이고 그중 90%를 가리면 남는 단위는 20개다. 비율을 95%로 높이면 10개만 남는다. 보이는 입력 수의 감소가 전체 학습 시간이나 메모리의 동일한 감소를 뜻하지는 않는다. 복원부의 계산도 필요하다.
데이터의 질과 전이
사전 학습 영상과 실제 사용할 영상 사이의 차이가 전이 성능에 영향을 준다. 영상 수만 늘리는 대신 동작의 다양성, 중복과 데이터 분포를 확인해야 한다. 복원 손실이 낮아지는 것과 동작 분류의 정확도가 높아지는 것도 서로 다른 평가 결과다.
관련 문서
TimeSformer / SlowFast / X3D / MotionBERT / Point-MAE / 비전 트랜스포머