고정한 과거 신경망
새 과제를 학습할 때 이미 학습한 열의 매개변수는 동결한다. 새 열은 무작위로 초기화하고 이전 열의 특징을 받아 새 계산과 과거 계산을 함께 활용한다.
계층마다 전달하는 특징
측면 연결은 이전 지식을 초기화에만 사용하는 것이 아니라 특징 계층마다 통합한다. 새 과제는 과거 특징을 재사용하거나 변형하거나 무시할 수 있다.
강화 학습의 전이 분석
Atari와 3차원 미로 과제를 포함한 강화 학습 환경에서 평가했다. 민감도 분석으로 낮은 수준의 감각 특징과 높은 수준의 제어 특징 모두에서 전이를 조사했다.
과제 증가에 따른 비용
과제마다 새 열을 추가하므로 매개변수가 늘어난다. 원 연구는 추론에서 사용할 열을 선택하려면 과제 레이블이 필요하다는 점도 한계로 다뤘다.
관련 문서
DER 동적 표현 확장 / Learning without Forgetting / iCaRL / L2P / DualPrompt / CODA-Prompt