규모가 커질 때의 문제
과거 예시 일부와 지식 증류를 사용하는 방법도 클래스가 많아지면 어려움을 겪을 수 있다. 연구는 과거와 새 클래스의 자료 불균형 및 시각적으로 비슷한 클래스의 증가를 원인으로 분석했다.
새 클래스로 치우친 분류
마지막 완전 연결 계층이 새 클래스에 강한 편향을 보이는 현상을 관찰했다. 불균형한 자료로 비슷한 범주를 구분해야 할 때 이 편향이 분류에 영향을 줄 수 있다.
선형 보정의 적용
새 클래스를 향한 편향을 두 개의 매개변수를 가진 선형 모델로 보정하는 방법을 제안했다. 전체 문제를 더 큰 신경망으로만 해결하려는 대신 최종 분류 편향을 직접 다룬다.
많은 클래스의 평가
ImageNet의 천 개 클래스와 MS-Celeb-1M의 만 개 클래스 조건에서 평가했다. 연구의 초점은 증분 학습의 규모가 커질 때 자료 불균형을 보정하는 효과다.
관련 문서
종단간 증분 학습 / L2P / DualPrompt / S-Prompts / CODA-Prompt / 지식 증류