활성화의 제거와 조정
표본이 만드는 뒤쪽 층의 활성화에서 큰 부분을 제거하고 남은 부분을 단순화하거나 가볍게 조정한다. 원 연구는 대부분의 활성화를 제거하는 예시를 통해 이러한 사후 처리를 제안했다.
학습 통계 없는 사후 처리
변형은 입력을 처리하는 추론 시점에 적용한다. 학습 자료에서 미리 통계를 계산할 필요가 없다는 점이 활성화 분포의 통계를 사용하는 다른 사후 처리와 구별되는 구성 요소다.
분포 구별의 평가
원 연구는 활성화 변형이 분포 안과 분포 밖 자료의 구별에 미치는 영향을 ImageNet에서 평가했다. 탐지 성능과 함께 기존 분포 안 자료의 분류 정확도가 어떻게 변하는지도 확인했다.
관련 문서
ReAct 활성화 정류 / 활성화 함수 / 이상 탐지 / 에너지 기반 분포 밖 탐지 / ImageNet / 신경망