과거 과제에 중요한 매개변수
새 과제를 학습하며 과거에 중요했던 가중치가 바뀌면 기존 능력을 잊을 수 있다. EWC는 중요한 매개변수를 이전 해 근처에 머물도록 제한해 과거 성능을 보존하려 한다.
중요도에 따른 이차 제약
모든 가중치를 같은 정도로 고정하는 대신 중요도가 높은 매개변수에 강한 이차 페널티를 준다. 새 과제 손실과 기존 해로부터의 이동 제약을 함께 최적화한다.
확률적 근사와 피셔 정보
원 연구는 과거 자료에 대한 매개변수 사후 분포를 정규 분포로 근사하는 관점에서 제약을 설명했다. 피셔 정보 행렬의 대각 성분으로 매개변수별 중요도를 반영한다.
분류와 강화 학습의 평가
MNIST 기반 분류 과제와 여러 Atari 2600 게임을 순차적으로 학습하는 조건에서 평가했다. 중요한 가중치의 학습을 선택적으로 늦추는 원리를 두 종류의 과제에 적용했다.
관련 문서
과제별 하드 어텐션 / 점진 신경망 / Learning without Forgetting / iCaRL / PODNet 증분 학습 / Dark Experience Replay