표현 전이의 이유를 분석하기
대조 학습 표현이 여러 후속 과제에 전이되는 이유를 이해하기 위해 자료 생성 과정과의 관계를 살핀다. 이 연구는 학습된 표현이 생성 요인을 어떻게 반영하는지 이론적으로 다룬다.
가정 아래의 역추정
흔히 쓰이는 InfoNCE 계열 목적을 사용하는 순방향 모형이 관측 자료의 바탕 생성 모형을 암시적으로 뒤집도록 학습한다는 결과를 제시한다. 증명에는 생성 모형의 통계 가정이 필요하다. 임의의 현실 자료에 대한 무조건적 역함수 복원 주장과는 다르다.
실험과 이론의 관계
가정이 크게 어긋나는 경우에도 결과가 유지되는 경험적 관찰을 보고한다. 이론은 대조 학습과 생성 모델링, 비선형 독립 성분 분석의 연결을 강조한다. 경험적 강건성이 증명의 가정을 없애는 것은 아니다.
잠재 요인의 독립 예
설명용으로 회전과 조명이 함께 바뀌는 물체 이미지에서는 관측 픽셀과 생성 요인이 다르다. 생성 요인을 표현하는 문제와 원본 파일을 복원하는 문제도 다르다. 실제 연구 수식을 옮기지 않은 역추정 해석의 예다.
관련 문서
InfoNCE / 대조 학습 / 잠재 범주 대조 학습 이론 / InfoMin 뷰 선택 / 독립 성분 분석 / 자기 지도 학습