작은 에피소드 기억
각 과제에서 관찰한 예시 일부를 기억에 저장한다. 새 예시를 학습하면서 이전 과제의 기억 예시에서 손실이 어떻게 변하는지 확인하는 데 사용한다.
손실 증가를 막는 제약
과거 예측을 완전히 고정하기보다 기억 예시 손실이 증가하지 않도록 제약한다. 손실 감소는 허용하므로 새 학습이 과거 과제에 도움이 되는 역방향 전이도 가능하다.
기울기의 투영
현재 기울기가 과거 과제의 제약을 어기면 제약을 만족하는 가장 가까운 기울기로 투영한다. 원 연구는 이 계산을 이차 계획 문제로 구성했다.
정확도와 전이의 평가
MNIST 변형과 CIFAR-100에서 평가했다. 시험 정확도 외에 과제 사이의 순방향 및 역방향 전이를 측정하는 지표도 함께 제안했다.
관련 문서
A-GEM / iCaRL / Dark Experience Replay / 탄력적 가중치 통합 / 시냅스 지능 학습 / Memory Aware Synapses