단일 통과의 지속 학습
온라인 지속 학습에서는 끝없이 변하는 자료를 한 번씩 관찰하는 조건이 중요하다. 과거 자료를 재생하는 방식은 유용하지만 어떤 예시를 고르는지도 성능에 영향을 준다.
간섭이 큰 기억의 검색
MIR은 예상되는 매개변수 갱신 뒤 가장 부정적인 영향을 받을 예시를 검색한다. 이미 잘 유지되는 예시보다 새 학습으로 잊힐 위험이 큰 기억을 우선하는 기준이다.
두 가지 재생 구성
저장한 실제 예시를 이용하는 경험 재생과 생성 모델을 사용하는 생성 재생에 대해 표본 선택 기준을 정식화했다. 두 방식 모두에서 재생할 표본을 의도적으로 고른다.
망각과 성능의 비교
연구는 제어된 기억 검색이 무작위 선택과 어떤 차이를 만드는지 평가했다. 온라인 조건의 성능과 과거 지식의 망각을 함께 비교한 접근이다.
관련 문서
기울기 기반 재생 표본 선택 / Dark Experience Replay / GEM 지속 학습 / A-GEM / iCaRL / 종단간 증분 학습