가중치만으로 판단하지 않기
작은 가중치도 큰 입력 활성값과 곱해지면 출력에 상당한 영향을 줄 수 있다. Wanda는 보정 입력에서 각 입력 특징의 L2 노름을 구해 가중치 절댓값에 곱한다. 이 점수를 이용해 같은 출력으로 향하는 가중치 중 낮은 것을 제거한다.
점수의 독립 예제
한 출력에 연결된 두 가중치의 절댓값이 0.1과 0.4이고 대응 입력 노름이 10과 1이면 점수는 1과 0.4다. 가중치만 보면 첫 번째가 더 작지만 이 기준에서는 두 번째를 먼저 제거한다. 실제 품질 손실을 정확히 계산한 값이 아니라 선택 기준의 예다.
갱신 없는 가지치기
기본 절차는 제거한 자리를 0으로 만들고 남은 가중치를 별도로 갱신하지 않는다. 보정용 활성값을 얻는 계산은 필요하므로 자료나 연산이 전혀 필요 없다는 뜻은 아니다. 입력 통계가 달라지면 선택한 희소 모형의 동작도 달라질 수 있다.
패턴과 평가
출력별 비교를 모형 전체의 단일 순위로 바꾸면 같은 방식이라고 보기 어렵다. 반구조적 희소성에서는 지정된 작은 묶음 안에서 비교할 수 있다. 가중치 제거율뿐 아니라 과제별 정확도와 희소 커널에서 얻는 실제 실행 효과를 함께 확인한다.