음성 없이 붕괴를 피하는 문제
BYOL이나 SimSiam 같은 비대조 학습은 음성 쌍 없이도 성과를 보이며 예측기와 그래디언트 중단을 사용한다. 이 연구는 왜 단순한 표현으로 붕괴하지 않는지 이론적 분석으로 탐구한다.
통계로 설정하는 예측기
DirectPred는 입력 통계를 이용해 선형 예측기를 직접 정하며 그 예측기를 그래디언트로 학습하지 않는다. 예측기의 설정 방식에 관한 설명이지 전체 표현망을 학습하지 않는다는 뜻은 아니다.
이론과 실제 모형의 범위
단순 선형망에서의 분석으로 예측기와 그래디언트 중단, 지수 이동 평균, 가중치 감쇠의 역할을 살핀다. 개념적 통찰과 실제 복잡한 네트워크에 대한 완전한 보장은 구분해야 한다.
경로 구분의 독립 예
설명용으로 입력 통계로 한 행렬을 계산해 교체하더라도 그 행렬 앞의 표현망은 손실을 통해 갱신될 수 있다. 일부 모듈의 직접 설정과 전체 모형의 무학습은 다르다. 실제 연구 수식을 옮기지 않은 학습 경로의 예다.