순차 과제의 정보 손실
신경망이 새 과제를 학습한 뒤 과거 정보를 잃는 재난적 망각에 대응하려는 방법이다. 과제에 기반한 하드 어텐션으로 이전 과제의 정보를 보호하는 구성을 제안했다.
과제와 마스크의 공동 학습
각 과제를 학습하는 동시에 해당 과제의 하드 어텐션 마스크도 확률적 경사 하강법으로 학습한다. 마스크는 과제별 정보를 다루는 추가 구성이다.
이전 마스크로 새 학습 조절
이미 학습한 마스크를 사용해 이후 학습의 조건을 정한다. 과거 정보의 보존이 현재 과제의 학습을 방해하지 않도록 하는 것이 제안 목적이다.
안정성과 압축성
연구는 하이퍼파라미터 선택에 따른 작동과 감시 기능을 평가했다. 학습 지식의 안정성과 간결함을 조절할 수 있다는 점에서 온라인 학습과 신경망 압축의 활용 가능성도 제시했다.
관련 문서
탄력적 가중치 통합 / 점진 신경망 / DER 동적 표현 확장 / L2P / DualPrompt / Learning without Forgetting