위키득계정 ↗
기술

초소형 기억의 지속 학습

초소형 기억의 지속 학습기술
연구 공개
2019년
논문 이름
On Tiny Episodic Memories in Continual Learning
자료 흐름
새 학습 예시를 한 번 관찰
기준 방법
현재 자료와 기억 자료의 공동 학습
초소형 기억의 지속 학습은 매우 적은 과거 예시를 저장하고 새 자료와 함께 재학습하는 효과를 분석한 연구다. 2019년 연구는 작은 기억도 일반화와 망각에 유용할 수 있음을 평가했다.

적은 예시로 과거 능력 유지

지속 학습은 과거 경험을 활용해 새 과제를 배우려 하지만 이전 과제의 능력을 기억해야 한다. 에피소드 기억은 과거 예시 일부를 저장해 이후 학습에 재사용하는 방식이다.

단순한 공동 학습 기준

연구는 새 과제 예시와 작은 기억의 예시를 함께 학습하는 단순한 기준을 분석했다. 복잡한 전용 알고리즘 없이도 작은 재생 기억이 주는 효과를 확인하려 했다.

반복 재생과 일반화

관찰된 새 예시를 한 번씩 사용하는 조건에서도 과거 기억은 반복해 재생할 수 있다. 연구는 작은 과거 기억의 반복 학습이 일반화에 어떤 영향을 주는지 조사했다.

네 벤치마크의 비교

서로 다른 네 지도 학습 벤치마크를 지속 학습 조건으로 바꾸어 평가했다. 클래스당 하나의 예시만 기억하는 경우도 포함해 저장량이 작은 조건의 효과를 살폈다.

관련 문서

A-GEM / GEM 지속 학습 / Dark Experience Replay / 기울기 기반 재생 표본 선택 / MIR 재생 표본 검색 / iCaRL