위키득계정 ↗
기술

InfoMin 뷰 선택

InfoMin 뷰 선택기술
연구 이름
What Makes for Good Views for Contrastive Learning?
핵심 조건
과제 관련 정보 보존
최소화 대상
뷰 사이의 상호 정보
구현 관점
뷰 학습과 자료 증강
InfoMin 뷰 선택은 과제에 필요한 정보를 유지하면서 두 뷰 사이 상호 정보를 줄이자는 대조 학습의 관점이다. 공통으로 남길 정보와 제거할 정보를 증강 및 뷰 설계에서 구분하도록 한다.

공통 정보의 양만 늘리지 않기

두 뷰에 공통 정보가 많더라도 후속 과제에 불필요한 정보가 함께 남을 수 있다. 이 연구는 뷰 선택의 영향을 이론과 실험으로 살피며 필요한 정보를 지킨 채 상호 정보를 줄이는 방향을 제안한다.

필요한 정보 보존의 조건

상호 정보 감소만을 목표로 하면 물체나 레이블 판단에 필요한 정보도 사라질 수 있다. InfoMin 관점의 핵심은 과제 관련 정보를 유지한다는 조건이다. 무조건 강한 증강이 최선이라는 뜻은 아니다.

학습하는 뷰와 증강

상호 정보 감소를 지향하는 비지도 및 반지도 뷰 학습 틀을 구성하고 자료 증강도 상호 정보를 줄이는 방법으로 살핀다. 분류와 검출 및 분할의 전이를 평가한다. 평가 과제에 따라 보존할 정보가 달라질 수 있다.

과제별 증강의 독립 예

설명용으로 색을 크게 바꿔도 모양 분류는 가능할 수 있지만 색으로 익은 정도를 판단하는 과제에는 정보 손실이 된다. 실제 연구 표본을 옮기지 않은 과제 관련 정보의 예다.

관련 문서

상호 정보량 / AMDIM / 대조 학습 / 자기 지도 학습 / NNCLR / 대조 표현의 정렬과 균일성