흐릿해지는 과제 경계
현실의 자료 흐름은 뚜렷한 과제 순서로 나누기 어렵고 오프라인 학습이 불가능할 수 있다. 연구는 영역과 클래스 분포가 서서히 또는 갑자기 바뀌는 일반 지속 학습을 다룬다.
학습 궤적의 로짓 재생
최적화 과정에서 표본화한 신경망의 로짓을 보존하고 다시 맞춘다. 과거 시점의 출력을 현재 학습에 연결해 이전 모델과 일관된 동작을 유도한다.
재생과 증류 및 정규화
예시를 다시 사용하는 재생에 지식 증류와 정규화를 결합한다. 제한된 자원으로 현실적인 자료 흐름을 학습하는 단순한 비교 기준으로 제시됐다.
일반 지속 학습의 평가
표준 벤치마크와 새로 구성한 MNIST-360 평가 조건에서 분석했다. 목적 함수가 단순한 평가 정확도 외에 일반화에 주는 영향도 살폈다.
관련 문서
PODNet 증분 학습 / iCaRL / Learning without Forgetting / 종단간 증분 학습 / 지식 증류 / L2P