새 클래스가 만드는 표현 변화
새 클래스의 표현이 기존 클래스와 겹치면 과거 표현에 큰 갱신이 발생할 수 있다. 원 연구는 경험 재생에서도 과제 경계에서 이런 급격한 변화가 나타나는 원인을 분석했다.
새 자료의 손실 제한
들어온 새 자료의 교차 엔트로피는 그 자료에 등장하는 클래스의 로짓만 고려한다. 과거 클래스를 새 자료 손실에서 제외해 새 표현이 먼저 적응하도록 하는 구성이다.
재생에서 전체 클래스 통합
버퍼에서 재생하는 자료의 손실은 새 클래스와 과거 클래스를 함께 고려한다. 새 예시가 학습되고 버퍼에 들어간 뒤 재생될 때 양쪽의 구분을 학습하도록 역할을 나눈다.
관련 변형과 평가
같은 연구는 비대칭 거리 학습 방식인 ER-AML도 제안했다. 작은 버퍼와 흐릿한 과제 경계를 포함한 조건에서 표현 변화와 정확도 및 계산 비용을 평가했다.
관련 문서
지도 대조 재생 / Dark Experience Replay / MIR 재생 표본 검색 / 기울기 기반 재생 표본 선택 / iCaRL / PODNet 증분 학습