밀집 학습의 제약
큰 밀집 모델을 먼저 학습해야 희소 모델을 얻는 방식은 학습 가능한 모델 크기를 제한한다. RigL은 학습 단계부터 희소한 네트워크를 사용하는 문제를 다룬다.
학습 중의 연결 변화
매개변수 크기와 드물게 수행하는 기울기 계산을 이용해 희소 네트워크의 연결 구조를 갱신한다. 연결을 처음 정한 상태로 고정해 두는 방식과 다르다.
계산 예산의 조건
논문은 학습 전반에서 고정된 매개변수 수와 계산 비용을 사용하는 설정을 제안했다. 같은 정확도에 도달하는 데 필요한 부동소수점 연산 수를 기존 방법과 비교했다.
여러 모델의 평가
ResNet과 MobileNet 계열 및 순환 신경망 등으로 실험했다. 연결 구조를 바꾸는 것이 고정된 구조의 최적화에서 생기는 어려움을 어떻게 줄일 수 있는지도 분석했다.