평균 성능과 취약 집단
전체적으로 유용한 우연한 상관관계가 특정 집단에서는 성립하지 않을 수 있다. 높은 평균 정확도와 별개로 가장 약한 집단의 성능을 살피려는 접근이다.
학습 손실만 줄이는 한계
과매개변수 모델은 모든 학습 자료를 잘 맞출 수 있다. 평균 학습 손실이 거의 영이면 최악 집단의 학습 손실도 거의 영이므로, 목적만 바꿔서는 집단별 일반화 문제가 해결되지 않을 수 있다.
정규화와 조기 종료
대표 연구는 더 강한 L2 정규화나 조기 종료를 그룹 DRO와 결합했다. 자연어 추론과 두 이미지 과제에서 평균 성능을 유지하면서 최악 집단 정확도를 개선하는지 평가했다.
효율적인 학습 절차
논문은 그룹 DRO를 효율적으로 학습하는 확률적 최적화 알고리즘과 수렴 성질도 제시했다. 사전 집단 정의와 최악 집단의 검증 성능을 고려해야 하는 조건을 함께 다뤘다.
관련 문서
불변 위험 최소화 / 지름길 학습 / 기계 학습의 과소명세 / Confident Learning / 메타 학습 기반 예시 재가중 / 기계 학습