인위적 변화 대신 시간 변화
고정 이미지 자료를 임의로 나눈 과제와 달리 현실의 시각 개념이 시간에 따라 변하는 모습을 다룬다. 십 년에 걸친 이미지에서 지속 분류 학습을 평가하도록 구성했다.
시각 언어 기반 자료 정리
사전 학습 시각 언어 모델을 활용해 YFCC100M에서 정답 자료를 구성한다. 이후 사람의 검증으로 오류와 부적절한 이미지를 걸러내는 과정을 사용했다.
정답 자료와 무정답 자료
각 시기마다 정답이 있는 자료와 많은 무정답 자료를 포함한다. 완전 지도 학습뿐 아니라 지속적인 반지도 학습과 비지도 사전 학습의 효과도 평가할 수 있다.
가까운 미래의 시험
같은 분포의 학습과 시험만 사용하면 성능이 과장될 수 있다는 문제를 분석했다. 제안한 스트리밍 규약은 가까운 미래를 시험하고 이후 그 시기의 자료를 학습에 활용하는 관점이다.
관련 문서
Stream-51 / CORe50 / OpenLORIS-Object / REMIND 지속 학습 / 잠재 재생 / DomainBed