버퍼에 무엇을 남길까
재생 버퍼는 과거 예시를 일부 저장해 망각을 줄인다. 연구는 과제 경계나 독립 동일 분포 가정에 기대어 표본을 선택하는 기존 방식의 제약을 다뤘다.
제약의 축소 문제
지속 학습을 제약 최적화로 보고 원래 허용 영역을 잘 근사하는 고정 크기의 제약 부분집합을 선택한다. 기억에 남길 예시를 고르는 문제를 이 관점에서 구성했다.
기울기 다양성의 최대화
연구는 이 선택이 기울기를 특징으로 사용하는 버퍼 표본의 다양성 최대화와 같음을 보였다. 계산 비용을 낮추기 위한 효율적인 탐욕적 대안도 개발했다.
과제 경계에 덜 의존하는 평가
지속 학습 조건에서 다른 표본 선택 방식들과 비교했다. 과제 경계를 사용하는 기존 방법들과도 비교해 변화하는 자료 흐름에서 선택 구성의 유용성을 살폈다.
관련 문서
MIR 재생 표본 검색 / GEM 지속 학습 / A-GEM / Dark Experience Replay / iCaRL / Memory Aware Synapses