국소적인 기억 정보
인공 신경망의 각 연결에 현재와 과거의 값뿐 아니라 중요도 추정을 유지한다. 생물학적 시냅스의 복잡성에서 영감을 얻었지만 제안 대상은 인공 신경망의 지속 학습 알고리즘이다.
학습 중 기여도 누적
각 매개변수가 전체 손실의 변화에 기여한 정보를 학습 중 효율적으로 누적한다. 과거 과제를 해결하는 데 중요했던 정도를 연결별로 추정하는 구성이다.
중요한 연결의 보호
새 과제를 학습할 때 중요한 매개변수의 변경에 페널티를 준다. 과거에 덜 중요했던 연결이 새 과제를 주로 배우도록 유도해 기존 정보의 덮어쓰기를 줄이려 한다.
분류 과제의 지속 학습
연구는 순차적인 분류 학습에서 망각과 계산 효율을 평가했다. 핵심은 과거 중요도를 별도의 거대한 자료 저장 대신 매개변수별 상태로 추적하는 것이다.
관련 문서
Memory Aware Synapses / 탄력적 가중치 통합 / 과제별 하드 어텐션 / Learning without Forgetting / 점진 신경망 / iCaRL