과제 전환 없는 망각
연속 학습의 파국적 망각에서 영감을 얻었지만 이 연구는 단일 분류 과제에 초점을 맞춘다. 자료 분포가 명확하게 바뀌지 않는 학습 과정에서도 예시의 분류 상태가 변하는지 조사했다.
망각 사건의 정의
개별 학습 예시가 맞게 분류되는 상태에서 틀리게 분류되는 상태로 바뀔 때 망각 사건으로 센다. 단순히 손실이 증가한 모든 순간을 뜻하는 정의는 아니다.
예시마다 다른 동역학
여러 벤치마크에서 자주 잊히는 예시와 전혀 잊히지 않는 예시가 관찰됐다. 이러한 구분이 다른 신경망 구조에서도 이어지는지 함께 조사했다.
자료 선별의 단서
망각 동역학을 기준으로 학습 예시의 일부를 빼도 일반화 성능을 유지하는 실험을 제시했다. 예시별 학습 이력을 자료 구성에 활용하는 접근이다.
관련 문서
Data Diet / Dataset Cartography / Simfluence / TracIn / 데이터 섀플리 / OpenDataVal