고전적인 곡선과 보간
고전적인 편향과 분산의 절충은 과소적합과 과적합 사이의 균형을 설명한다. 하지만 학습 자료를 정확히 맞추는 큰 모델도 좋은 시험 성능을 보일 수 있어 더 넓은 분석이 필요하다.
용량을 더 늘린 이후
이중 하강 관점은 학습 예시를 보간하는 수준을 넘어서 모델 용량을 키울 때 성능이 다시 좋아지는 구간을 포함한다. 전통적인 U자 형태를 더 넓은 곡선 안에서 해석하는 접근이다.
학습 시간과 유효 복잡도
후속 딥러닝 연구는 모델 크기뿐 아니라 학습 에포크에 따른 이중 하강도 관찰했다. 이를 연결하기 위해 유효 모델 복잡도라는 척도를 제안했다.
항상 단조롭게 좋아지지는 않기
같은 연구는 특정 조건에서 학습 예시를 늘려도 시험 성능이 나빠질 수 있음을 보였다. 특정 구간의 현상이며 큰 모델이나 많은 자료가 언제나 나쁘거나 좋다는 일반 법칙은 아니다.
관련 문서
그로킹 / 과적합 / 기계 학습 / 언어 모델 / Tuned Lens / 특징 중첩