서로 밀어내지 않는 묶음
자기 지도 학습은 이미지 인스턴스나 군집 사이를 대조해 표현을 학습하는 경우가 많다. 이 연구는 군집 구조에 강한 사전을 두지 않고 이미지를 묶어 표현을 학습하는 단순한 평균 이동 방향을 제안한다.
이웃 평균으로의 이동
각 이미지의 임베딩을 그 이웃들의 평균에 가깝게 이동시킨다. 한 개의 가장 가까운 표본과만 맞추는 것과 여러 이웃의 정보를 결합하는 것은 다르다. 이웃의 선택은 현재 표현 공간에 의존한다.
같은 이미지의 변환과 관계
연구 설정에서는 가장 가까운 이웃이 같은 이미지의 다른 증강이 되도록 한다. 이 조건에서 이웃을 하나만 사용하면 BYOL과 같은 모형이 된다는 관계를 설명한다. 이 동등성을 임의의 이웃 선택 설정까지 확대해서는 안 된다.
평균 방향의 독립 계산
설명용으로 이웃 표현이 일차원에서 2와 8이면 평균은 5다. 평균을 향한다는 것은 어느 한 표본을 그대로 복사하는 것과 다르다. 실제 모형의 차원이나 이웃 수를 옮기지 않은 계산 예다.
관련 문서
NNCLR / PCL 표현 학습 / BYOL / 자기 지도 학습 / 대조 학습 / SCAN 이미지 군집