기기 내 학습의 비용
가벼운 기기와 로봇 같은 환경에서 지속 학습을 수행하려면 저장과 연산 비용을 줄여야 한다. 잠재 재생은 작은 새 자료 배치를 학습하면서 과거 지식을 유지하는 문제를 다룬다.
입력 공간 대신 중간 활성
과거 입력의 일부를 원본으로 저장하는 대신 중간 계층의 활성 볼륨을 보관한다. 과거 예시를 처음부터 다시 처리하는 재생보다 연산과 저장을 줄이려는 구성이다.
위쪽과 아래쪽의 학습 속도
저장한 활성 표현이 유효하려면 그 표현을 만드는 하위 계층이 급격히 바뀌지 않아야 한다. 재생 계층 아래의 학습을 늦추고 위쪽 계층은 정상 속도로 학습하도록 제안했다.
영상과 휴대 기기의 평가
CORe50 NICv2와 OpenLORIS 같은 영상 벤치마크에서 기존 지속 학습 기법과 결합해 평가했다. 스마트폰 배치 실험으로 거의 실시간인 기기 내 지속 학습 가능성도 제시했다.
관련 문서
REMIND 지속 학습 / 심층 생성 재생 / FearNet / Dark Experience Replay / iCaRL / Memory Aware Synapses