밀집 예측에 필요한 정보
영상 전체와 문장을 맞추는 목적만으로는 위치별 특징 학습이 충분히 유도되지 않을 수 있다. 물체 검출과 분할은 어느 위치가 어떤 대상에 속하는지 판단해야 하므로 더 세밀한 공간 정보가 필요하다.
지역과 전체의 연결
SILC는 자기 증류로 지역 영상과 전체 영상 사이의 대응을 학습한다. 영상 텍스트의 의미 정렬을 유지하면서 같은 영상의 다른 범위가 공유하는 정보를 추가 학습 신호로 사용한다.
이동 평균 교사의 역할
지수 이동 평균으로 갱신되는 교사 모델에서 학습 신호를 얻는다. 이 교사와 학생 사이의 자기 증류를 대조 사전 학습에 더해 공간 특징과 전체 표현을 함께 개선한다.
여러 해상도의 평가
분류와 검색 같은 영상 수준 과제 및 검출과 분할 같은 밀집 예측에서 평가했다. 제로샷 분할과 개방 어휘 분할, 후속 설명 생성과 시각 질문 응답도 살펴 표현의 활용 범위를 비교했다.
관련 문서
CLIP / SLIP / COSMOS 교차 모달 자기 증류 / 자기 증류 / 지수 이동 평균 / 의미 분할