클래스가 계속 늘어날 때
새 클래스를 추가하며 학습하면 기존 클래스의 성능이 크게 떨어질 수 있다. 모든 과거 예시와 새 예시를 계속 보관하고 함께 학습하는 방식은 클래스 수가 늘수록 부담이 커진다.
작은 과거 예시 집합
새 자료와 과거 클래스에 해당하는 작은 예시 집합으로 신경망을 증분 학습한다. 과거 전체 자료를 다시 사용하는 대신 제한된 예시를 유지하는 조건이다.
증류와 새 클래스 학습
증류 측정은 기존 클래스에서 얻은 지식을 유지하기 위해 사용한다. 새 클래스를 학습하는 교차 엔트로피 손실과 결합해 이전 지식과 새 정보를 함께 다룬다.
표현과 분류기의 공동 학습
자료 표현과 분류기를 하나의 종단간 체계로 함께 학습한다. 연구는 CIFAR-100과 ImageNet의 이미지 분류 조건에서 이 증분 학습 구성을 평가했다.
관련 문서
대규모 증분 학습의 편향 보정 / L2P / DualPrompt / CODA-Prompt / 지식 증류 / 기계 학습