초기화에서 연결 고르기
크고 빽빽한 모델을 반복 학습하고 줄이는 과정 없이 학습 가능한 희소 부분망을 찾는 문제를 다룬다. 특히 연결의 중요도를 판단할 때 자료를 반드시 봐야 하는지 질문했다.
계층 붕괴의 문제
초기 가지치기에서 특정 계층의 연결이 모두 너무 일찍 사라지면 네트워크를 학습할 수 없게 된다. 연구는 이런 계층 붕괴를 설명하는 보존 법칙을 이론과 실험으로 분석했다.
흐름을 보존하는 가지치기
SynFlow는 희소성 제약 아래에서 초기 네트워크의 시냅스 강도 전체 흐름을 보존하는 과정으로 해석된다. 학습 데이터에 의존하지 않는 반복 가지치기를 통해 붕괴를 피하도록 구성했다.
실험 조건과 적용
연구는 VGG와 ResNet 및 여러 영상 분류 자료에서 높은 희소도까지 비교했다. 자료 없이 연결을 고르는 단계와 이후 실제 과제 자료로 가중치를 학습하는 단계는 구분된다.