새 기능을 추가하는 조건
기존 시각 인식 모델에 새 기능을 더할 때 과거 자료를 다시 사용할 수 없는 경우를 다룬다. 모든 과제의 자료를 저장하고 공동 학습하는 방식은 과제가 늘수록 부담이 커진다.
새 자료에서 기존 응답 기록
새 과제의 이미지에 대해 기존 신경망이 내놓는 응답을 보존 지도로 활용한다. 같은 입력이 새 과제의 학습 자료이면서 과거 과제의 출력 지도를 제공한다.
증류와 미세 조정의 결합
기존 과제의 출력이 원래 응답과 비슷하도록 지식 증류 손실을 사용한다. 공유 매개변수는 새 과제를 잘 구분하도록 조정하면서 과거 출력의 정보를 유지하려 한다.
자료 차이의 영향
기존 과제의 실제 자료 대신 새 자료에서의 응답을 사용하는 구성이다. 과제 사이의 이미지 분포가 크게 다르면 이 대체가 과거 성능에 불리할 수 있다는 점도 원 연구에서 분석했다.
관련 문서
iCaRL / 종단간 증분 학습 / 대규모 증분 학습의 편향 보정 / 지식 증류 / L2P / DualPrompt