위키득계정 ↗
기술

Barlow Twins

Barlow Twins기술
학습 신호
두 증강 뷰의 표현
주요 통계
배치 기준 교차상관 행렬
대각 성분 목표
1
비대각 성분 목표
0
Barlow Twins는 같은 이미지의 두 증강 뷰에서 얻은 표현 사이 교차상관 행렬을 단위행렬에 가깝게 학습하는 자기지도 방법이다. 대응 성분의 일치와 서로 다른 성분의 중복 감소를 함께 목표로 삼는다.

표현 좌표의 상관

한 뷰의 i번째 좌표와 다른 뷰의 j번째 좌표가 배치 안에서 어떻게 함께 변하는지 Cᵢⱼ로 계산한다. 두 경로는 같은 네트워크를 사용한다. 좌표마다 배치 방향으로 중심화하고 크기를 조정해 비교하므로 이미지 한 장의 벡터 내적과는 다른 통계다.

두 가지 손실 항

손실은 대각 성분의 (1−Cᵢᵢ)² 합과 비대각 성분 Cᵢⱼ²의 가중합으로 구성한다. 앞부분은 같은 좌표가 두 뷰에서 일치하도록 하고 뒷부분은 다른 좌표끼리 반복하는 정보를 줄이도록 한다. 가중치 λ가 두 항의 상대적인 비중을 정한다.

작은 행렬의 계산

C가 첫 행 0.9,0.2이고 둘째 행 −0.1,0.8인 2×2 행렬이라면 대각 오차 합은 0.01+0.04=0.05다. 비대각 제곱 합도 0.04+0.01=0.05이므로 총손실은 0.05+0.05λ다. 목표 단위행렬에 도달하면 이 식의 두 항 모두 0이다.

무상관과 독립의 차이

비대각 상관을 줄이는 것은 표현 좌표 사이의 통계적 독립을 일반적으로 보장하지 않는다. 분산이 거의 없는 좌표에서는 정규화의 수치 안정성도 확인해야 한다. 배치의 상관 통계를 개선한 결과를 실제 후속 과제에 필요한 정보를 보존했는지와 함께 평가한다.

관련 문서

SimSiam / BYOL / SimCLR / 상관계수 / 단위행렬 / 공분산 행렬