작은 과제가 길게 이어질 때
새 과제를 배우는 능력과 기존 클래스를 기억하는 능력 사이에는 상충 관계가 있다. PODNet은 작은 단위의 증분 과제가 매우 오래 이어지는 조건의 망각을 다룬다.
모델 전체의 공간 증류
효율적인 공간 기반 증류 손실을 모델 전반에 적용한다. 마지막 출력만을 보존하는 데서 더 나아가 표현 학습 관점으로 과거 지식을 유지하려는 구성이다.
클래스별 복수 대리 벡터
각 클래스의 표현을 여러 대리 벡터로 구성한다. 공간 증류와 함께 기존 지식의 유지와 새 클래스 학습 사이의 균형을 조절한다.
세 데이터셋의 평가
CIFAR100과 ImageNet100 및 ImageNet1000에서 기존 증분 학습 모델들과 비교했다. 연구는 두 주요 구성의 효과를 검증하고 장기간 작은 과제 조건을 평가했다.
관련 문서
iCaRL / Learning without Forgetting / 종단간 증분 학습 / 대규모 증분 학습의 편향 보정 / Dark Experience Replay / 지식 증류