실제 조건의 변화
학습과 시험의 분포가 다른 상황은 실제 응용에서 흔하지만 표준 자료가 충분히 반영하지 못할 수 있다. WILDS는 이런 차이를 의도적으로 평가하는 자료 모음을 마련했다.
장소와 시점의 차이
야생동물 관찰의 카메라 위치와 위성 영상의 시점 및 지역처럼 실제 환경에서 생기는 변화가 포함된다. 인위적으로 픽셀 잡음만 더하는 것과 다른 종류의 이동을 다룬다.
분포 안과 밖의 성능
초기 논문은 각 자료에서 표준 학습의 분포 밖 성능이 분포 안 성능보다 낮음을 분석했다. 기존 분포 변화 대응 방법을 학습한 모델에도 이런 격차가 남는 조건을 평가했다.
표준화된 비교 구성
자료 로딩을 자동화하고 기본 모델 구조와 설정 및 공통 평가를 제공하는 공개 패키지를 제시했다. 같은 변화 조건에서 여러 방법을 비교하기 위한 실험 기반을 제공한다.
관련 문서
DomainBed / 다양한 분포 변화의 견고함 / 불변 위험 최소화 / 그룹 분포 강건 최적화 / 기계 학습의 과소명세 / 지름길 학습