위키득계정 ↗
기술

백색화 자기 지도 학습

백색화 자기 지도 학습기술
연구 이름
Whitening for Self-Supervised Representation Learning
핵심 연산
잠재 특징 백색화
문제
표현이 한 점으로 붕괴하는 해
필요하지 않은 요소
음성 표본과 비대칭 네트워크
백색화 자기 지도 학습은 잠재 특징의 백색화에 기반한 손실로 표현 붕괴를 피하려는 비대조 표현 학습 접근이다. 음성 표본 없이 같은 이미지의 여러 양성 쌍을 활용할 수 있도록 설계됐다.

많은 음성 비교의 대안

대조 학습은 같은 이미지의 증강을 양성으로, 다른 이미지의 표본을 음성으로 비교하는 경우가 많다. 많은 음성 비교의 계산 부담을 대신할 방향으로 이 연구는 잠재 공간 특징의 백색화에 기반한 손실을 제안한다.

배치 표현을 흩어 놓기

백색화는 배치 표본의 표현을 흩어지게 하는 효과로 모든 표본이 하나의 점으로 모이는 퇴화한 해를 피하려 한다. 공간이 퍼져 있다는 사실만으로 의미 구별이 충분하다고 볼 수는 없다.

같은 이미지의 여러 쌍

음성 표본을 필요로 하지 않으므로 같은 이미지 인스턴스에서 여러 양성 쌍을 추출할 수 있다. 비대칭 네트워크를 요구하지 않는 단순한 구성을 제안한다. 특정 장치의 실행 비용은 별도 조건에서 확인해야 한다.

분산과 의미의 독립 예

설명용으로 표본을 촬영 날짜별로 넓게 퍼뜨리면 표현의 분산은 생겨도 물체 의미를 잘 구분하지 못할 수 있다. 붕괴 방지와 유용한 표현은 함께 평가할 항목이다. 실제 연구 수치를 옮기지 않은 표현 분포의 예다.

관련 문서

자기 지도 학습 / VICReg / VICRegL / BYOL / 대조 학습 / IIC 군집 학습