구조와 초기값을 함께 보기
학습을 마친 신경망에서 연결을 지워도 성능이 유지된다는 주장과 처음부터 작은 신경망을 학습할 수 있다는 주장은 다르다. 복권 가설은 큰 모형 속 부분망을 골라 그 부분망의 원래 초기 가중치로 독립적으로 학습하는 상황을 다룬다. 학습 완료 가중치를 그대로 재사용하는 압축과 구별한다.
부분망을 찾는 절차
기준 모형을 초기값 θ₀에서 학습하고 작은 크기의 가중치 일부를 제거해 마스크를 만든다. 살아남은 연결을 θ₀의 해당 값으로 되돌려 학습을 반복한다. 이를 반복해 희소 부분망을 찾는다. 탐색에 전체 모형의 학습이 들어가므로 좋은 부분망을 찾았다고 처음부터 탐색 비용도 작았다는 뜻은 아니다.
같은 마스크의 두 실험
초기 연결값이 (0.1,−0.2,0.3,0.4)이고 마스크가 (1,0,1,0)이라고 하자. 원래 초기값을 복원한 부분망은 (0.1,0,0.3,0)이다. 같은 마스크에 새 난수값을 배정하면 연결 구조는 같지만 다른 실험이다. 이 숫자 예제만으로 어느 쪽이 더 잘 학습하는지는 알 수 없으며 비교 학습으로 확인해야 한다.
가설의 범위
당첨 티켓은 부분망의 크기만으로 판정하지 않고 기준 모형과의 정확도, 학습 반복 수 등 실험 조건을 함께 본다. 특정 구조와 자료에서의 관찰을 모든 신경망에 대한 정리로 해석해서는 안 된다. 비정형적으로 희소한 모형이 실제 장치에서 빠르게 실행되는지도 별개의 문제다.