선택적으로 보존하는 지식
모델의 용량은 제한돼 있지만 새 정보는 계속 들어올 수 있다. 연구는 모든 과거 지식을 똑같이 보호하기보다 무엇을 보존하거나 지울지 선택하는 문제를 다뤘다.
출력 변화에 대한 민감도
새 예시가 들어오면 매개변수 변화에 출력 함수가 얼마나 민감한지에 따라 중요도를 누적한다. 이 추정은 정답 레이블 없이 온라인 방식으로 수행한다.
중요한 매개변수의 변경 억제
새 과제를 학습할 때 중요도가 높은 매개변수의 변경에 페널티를 준다. 시험 조건에 맞춘 무정답 자료로 중요도를 조절해 유지해야 할 지식을 반영할 수 있다.
객체와 관계 표현의 평가
연구는 순차적인 객체 인식과 주어 및 관계 및 목적어의 삼중항을 예측하는 임베딩 학습을 평가했다. 국소적인 변형과 헤브 규칙 사이의 연관성도 분석했다.
관련 문서
시냅스 지능 학습 / 탄력적 가중치 통합 / 과제별 하드 어텐션 / Learning without Forgetting / iCaRL / PODNet 증분 학습