변형하지 않은 실제 예시
적대적 필터링으로 모델이 어려워하는 실제 이미지를 골랐다. 입력 자체는 변형하지 않으면서 우연한 단서가 제한된 자료를 구성해 여러 모델에 공유되는 약점을 분석했다.
어려운 ImageNet-A
ImageNet 시험 자료와 비슷한 분류 과제지만 기존 모델에는 훨씬 어려운 이미지로 구성됐다. 초기 연구에서 DenseNet-121의 정확도는 약 2퍼센트로 보고돼 큰 성능 저하를 보였다.
분포 밖의 ImageNet-O
ImageNet 모델을 대상으로 분포 밖 자료를 구분하는 어려운 탐지 집합도 마련했다. 익숙한 클래스에서 답을 고르는 분류 능력과 낯선 입력임을 알아차리는 능력을 나눠 다룬다.
증강과 모델 구조의 분석
논문은 기존 자료 증강과 다른 공개 학습 자료만으로 얻는 개선이 제한적이라고 분석했다. 모델 구조의 개선도 견고함을 높이는 방향으로 평가하며 실제 이미지의 어려움을 드러냈다.
관련 문서
ImageNet 오염과 교란 평가 / AugMix / Noisy Student / Trust Score / 딥 앙상블 / 온도 스케일링