활성화의 상한
분류기 직전 특징 벡터의 각 원소에 상한을 적용한다. 상한보다 작은 값은 그대로 두고 큰 값만 잘라 일부 과도한 활성화가 최종 출력에 미치는 영향을 제한한다.
분포 안 자료로 정하는 기준
상한은 분포 안 자료에서 추정한 활성화 값의 백분위수로 정한다. 원 모형의 학습을 변경하지 않고 적용하는 사후 처리이며 정상 자료의 활성화를 보존하면서 분포 밖 활성화를 정류하려는 설계다.
탐지 점수와의 결합
정류 후 얻은 출력으로 소프트맥스 신뢰 점수와 ODIN 및 에너지 점수 등을 계산할 수 있다. 따라서 ReAct는 하나의 점수에만 묶인 탐지기보다 기존 점수와 결합하는 활성화 처리 방법에 가깝다.
관련 문서
에너지 기반 분포 밖 탐지 / ODIN 분포 밖 탐지 / 최대 소프트맥스 확률 탐지 / 활성화 함수 / 백분위수 / 이상 탐지