여러 모델이 같은 점수를 낼 때
학습 파이프라인은 주어진 영역의 별도 검증 자료에서 비슷한 성능을 보이는 여러 예측기를 만들 수 있다. 이때 성능 기준만으로 원하는 예측기의 성질이 충분히 정해지지 않는 상태를 다룬다.
배포에서 갈리는 행동
학습 영역의 성능이 비슷하다는 이유로 동등하게 취급한 모델들이 배포 영역에서 다르게 행동할 수 있다. 이런 모호함은 실제 사용에서 불안정성과 낮은 성능으로 이어질 수 있다.
분포 불일치와의 구분
연구는 이를 학습과 배포 영역의 구조적 불일치만으로 설명하는 문제와 구분했다. 어떤 모델을 선택했는지에 따라 배포 행동이 달라지는 추가적인 실패 요인으로 제시했다.
파이프라인 수준의 평가
컴퓨터 비전과 자연어 처리 등 여러 실제 학습 절차의 사례로 현상을 분석했다. 모델링 파이프라인이 배포에 필요한 성질까지 명시하고 평가해야 한다는 과제를 드러냈다.
관련 문서
지름길 학습 / 다양한 분포 변화의 견고함 / CNN의 질감과 형태 편향 / Trust Score / 딥 앙상블 / 기계 학습