먼저 줄인 뒤 학습하기
이미 학습한 큰 모델을 줄이는 대신 초기화한 네트워크에서 연결을 선택한다. 사전 학습과 복잡한 반복 가지치기 일정 없이 희소 네트워크를 얻으려는 접근이다.
과제에 대한 민감도
연결 민감도에 기반한 중요도 기준으로 주어진 과제에 구조적으로 중요한 연결을 찾는다. 단순히 모든 과제에 같은 연결 모양을 적용하는 것과 다르다.
남은 연결의 학습
가지치기를 끝낸 희소 네트워크는 일반적인 방식으로 학습한다. 연결을 고르는 단계와 남겨 둔 가중치를 최적화하는 단계를 분리한다.
구조와 자료에 따른 평가
연구는 합성곱과 잔차 및 순환 구조 등을 포함하고 MNIST와 CIFAR-10 및 Tiny-ImageNet으로 평가했다. 연결의 과제 관련성과 구조 변화에 대한 적용 가능성을 함께 살폈다.