같은 기법의 다른 학습 조건
다른 이미지의 이웃을 양성으로 활용하는 방법은 대조 학습에서 쓰이지만 자기 증류에서는 같은 효과가 보장되지 않는다. 연구는 음성 표본을 쓰는 대조 설정과 자기 증류 설정의 차이를 분석한다.
단순 부트스트래핑의 문제
자기 증류에 최근접 이웃 부트스트래핑을 그대로 넣으면 성능이 떨어지거나 표현이 붕괴할 수 있음을 관찰한다. 이웃이라는 이유만으로 언제나 적절한 학습 목표가 되는 것은 아니다.
품질에 따른 적응
잠재 공간의 추정 품질을 바탕으로 이웃을 적응적으로 부트스트래핑하는 해법을 제안한다. 여러 자기 증류 방법과 백본 조합 및 표준 후속 과제에서 평가한다. 추정 품질이 실제 정답 의미를 직접 확인하는 것은 아니다.
잘못된 이웃 강화의 독립 예
설명용으로 초기 표현이 배경색만 보고 이웃을 고르면 그 이웃에 계속 맞추는 학습이 같은 편향을 강화할 수 있다. 관계의 유용성은 표현 상태와 함께 살펴야 한다. 실제 연구 표본을 옮기지 않은 적응 필요성의 예다.
관련 문서
NNCLR / 평균 이동 자기 지도 학습 / BYOL / 자기 지도 학습 / 대조 학습 / PCL 표현 학습