위키득계정 ↗
기술

불변 위험 최소화

불변 위험 최소화기술
연구 공개
2019년
영문 이름
Invariant Risk Minimization
약칭
IRM
학습 조건
여러 학습 분포
불변 위험 최소화는 여러 학습 환경에서 공통으로 성립하는 예측 관계를 찾는 학습 원리다. 학습한 표현 위의 최적 분류기가 모든 학습 분포에서 같아지도록 표현을 학습한다.

환경마다 다른 상관관계

하나의 환경에서만 유용한 상관관계는 시험 환경이 바뀌면 실패할 수 있다. IRM은 여러 학습 분포에서 유지되는 관계를 추정해 이런 의존을 줄이는 문제를 다룬다.

공통으로 최적인 분류기

각 환경에 대해 별도 분류기를 마음대로 맞추는 대신 학습 표현 위의 최적 분류기가 환경들에서 일치하도록 한다. 불변성의 조건을 표현 학습에 연결하는 것이 핵심이다.

색을 입힌 숫자 실험

초기 연구는 숫자와 레이블보다 색과 레이블의 관계가 더 강하게 보이는 학습 자료를 구성했다. 시험에서 색의 상관관계를 뒤집어 모델이 색에 기대는지와 숫자의 정보를 활용하는지 비교했다.

인과성과 일반화

논문은 학습한 불변 관계와 자료의 인과 구조 사이의 연관을 이론 및 실험으로 분석했다. 여러 환경을 이용하는 조건과 가정 아래의 접근이며 불변성만으로 모든 인과 관계를 자동 확인하는 방법은 아니다.

관련 문서

그룹 분포 강건 최적화 / 지름길 학습 / 기계 학습의 과소명세 / 다양한 분포 변화의 견고함 / CNN의 질감과 형태 편향 / 기계 학습