모든 패치를 처리하지 않는 학습
영상을 패치로 나누어 처리할 때 그중 상당 부분을 무작위로 가리고 입력에서 제거한다. 영상 전체를 매번 같은 비용으로 읽는 대신 일부 시각 정보로 영상과 문장의 관계를 학습한다.
절약한 계산의 사용처
패치 수가 줄면 같은 시간에 더 많은 영상 텍스트 쌍을 처리할 여지가 생긴다. 비슷한 메모리 사용량에서 한 반복에 대조하는 예시를 늘리는 방향으로도 사용할 수 있다.
복원 학습과의 구분
마스킹이라는 조작을 사용하지만 핵심 관심은 CLIP 방식 대조 학습의 효율이다. 가려진 픽셀을 복원하는 목적과 입력 계산을 줄이는 목적은 구분해서 볼 필요가 있다.
성능을 비교하는 조건
4억 쌍 실험에서 마스킹 없는 기준 모델과 정확도 및 학습 속도를 비교했다. 모델 크기와 자료 규모, 학습 시간을 달리한 결과이므로 비교할 때 고정한 자원과 바꾼 자원을 함께 확인해야 한다.
관련 문서
CLIP / MAE / 대조 학습 / BASIC 시각 언어 확장 / SLIP / FILIP