평균 기억 손실의 제약
개별 과제마다 제약을 두는 대신 과거 에피소드 기억의 평균 손실이 증가하지 않도록 한다. 개별 과제의 최악 망각을 막는 조건과 평균적 성능을 보호하는 조건은 구분된다.
하나의 기준 기울기
모든 과거 과제의 기억에서 무작위 배치를 뽑아 기준 기울기를 계산한다. 현재 기울기가 그 제약을 어기면 빠른 투영 규칙으로 조정한다.
계산 부담의 감소
과거 과제별 기울기 행렬을 유지하거나 이차 계획 문제를 풀 필요를 줄인다. 표본 복잡도와 계산량 및 메모리 비용을 함께 고려하는 구성이 제안 목적이다.
단일 통과 평가 방식
각 예시를 한 번만 관찰하고 하이퍼파라미터 선택용 과제와 실제 평가 과제를 분리하는 규약을 제시했다. 새 기술을 얼마나 빨리 배우는지 측정하는 지표도 도입했다.
관련 문서
GEM 지속 학습 / Dark Experience Replay / iCaRL / 탄력적 가중치 통합 / 시냅스 지능 학습 / Memory Aware Synapses