그럴듯한 요인과 식별된 요인
색과 형태처럼 몇 가지 요인으로 자료가 생성된다고 가정해도 관측만으로 원하는 요인 분리가 정해지는 것은 아니다. 이 연구는 모형과 자료 모두에 대한 귀납 편향이 없는 비지도 분리 학습의 불가능성을 분석한다.
손실 성질과 표현 선택
대규모 재현 실험에서는 각 손실이 장려하는 성질을 만들더라도 잘 분리된 모형을 감독 없이 식별하기 어려운 현상을 관찰한다. 손실이 낮은 모형과 사람이 원하는 요인을 나눈 모형을 같은 것으로 취급하면 안 된다.
후속 이득을 따로 검증하기
표현의 분리 정도가 높아졌다고 후속 학습의 주석 표본 복잡도가 자동으로 줄지는 않는다는 관찰을 보고한다. 귀납 편향과 암묵적 감독의 역할을 밝히고 여러 자료에서 재현 가능한 평가를 해야 한다는 방향을 제안한다.
요인 정의의 독립 예
설명용으로 회전과 색을 분리한 좌표와 두 값을 섞은 가역 좌표가 같은 관측을 설명할 수 있다. 관측 재구성만으로 어떤 좌표가 원하는 해석인지 정해지지 않는다. 실제 연구 증명을 옮기지 않은 식별 문제의 예다.
관련 문서
독립 성분 분석 / 자기 지도 학습 / 대조 학습의 생성 과정 역추정 / InfoMin 뷰 선택 / VICReg / IIC 군집 학습