전역과 지역을 함께 학습하기
전체 특징은 분류에 유용하고 지역 특징은 검출과 분할에 유용할 수 있다. VICRegL은 두 특징을 함께 학습하는 설계로 분류와 조밀 과제 사이의 상충을 탐구한다.
두 관측에 같은 기준 적용
같은 이미지에 서로 다른 왜곡을 준 두 관측을 동일한 구조의 합성곱망 경로에 입력한다. 전역 특징 벡터 쌍과 마지막 풀링 이전의 지역 특징 벡터 쌍 모두에 VICReg 기준을 적용한다.
지역 특징을 연결하는 조건
지역 특징은 L2 거리가 임계값 아래이거나 두 입력 사이 알려진 기하 변환과 상대 위치가 일치할 때 서로 당겨진다. 특징 유사도와 기하 대응이라는 서로 다른 단서를 이용한다.
기하와 유사도의 독립 예
설명용으로 반복된 창문들은 특징이 비슷해도 서로 다른 위치의 창문일 수 있다. 알려진 크롭 변환의 대응과 외형이 닮았다는 판단은 같은 정보가 아니다. 실제 연구 그림을 옮기지 않은 지역 연결의 예다.