암기와 일반화의 시차
학습에 사용한 예시를 잘 맞히는 것과 새로운 예시에도 규칙을 적용하는 것은 다르다. 그로킹 연구는 두 능력이 좋아지는 시점 사이에 큰 간격이 생길 수 있음을 보여 줬다.
늦게 나타나는 개선
일부 실험에서는 일반화가 우연 수준에 머물다가 높은 성능으로 개선됐다. 이런 변화가 과적합 시점보다 훨씬 뒤에 나타날 수 있다는 것이 초기 연구의 주요 관찰이다.
자료 크기의 영향
연구는 데이터셋 크기에 따른 일반화도 분석했다. 작은 데이터셋일수록 일반화에 더 많은 최적화가 필요한 조건을 관찰했으며 자료 효율과 학습 속도를 함께 살폈다.
실험 조건의 범위
작은 알고리즘 과제는 암기와 규칙 학습을 세밀하게 연구할 수 있는 환경이다. 그로킹이 관찰됐다는 사실이 모든 모델에서 학습을 오래 하면 일반화가 반드시 좋아진다는 의미는 아니다.
관련 문서
특징 중첩 / 유도 헤드 / Tuned Lens / 기계 학습 / 과적합 / 언어 모델