중요하지 않은 신호
과도하게 많은 가중치와 유닛 중 중요하지 않은 부분에 의존하면 분포 밖 탐지가 취약해질 수 있다는 문제에서 출발한다. 탐지 점수의 형태와 함께 그 점수를 만드는 연결의 역할에 주목한다.
기여도로 고르는 가중치
가중치를 기여도 측정값에 따라 정렬하고 두드러진 가중치를 선택해 출력을 계산한다. 잡음성 신호를 덜어 내는 희소화를 분포 밖 탐지에 맞게 사용하는 방법이다.
이론과 실험의 분석
원 연구는 희소화가 분포 밖 자료의 출력 분산을 줄이는 메커니즘을 이론적으로 분석했다. 여러 벤치마크에서 분포 안 자료와의 분리 정도 및 탐지 효과를 평가했다.
관련 문서
가지치기 / 희소성 / ReAct 활성화 정류 / ASH 활성화 변형 / 에너지 기반 분포 밖 탐지 / 이상 탐지