학습 비용까지 고려하기
학습한 모델을 줄이면 추론 비용을 줄일 수 있지만 큰 모델을 먼저 학습하는 비용은 남는다. GraSP 연구는 초기화 단계에서 가지치기해 이 문제를 다루려 했다.
기울기 흐름의 중요성
효율적으로 학습하려면 네트워크를 통해 기울기가 흐르는 성질을 보존해야 한다는 관점에서 출발했다. 이를 바탕으로 Gradient Signal Preservation이라는 가지치기 기준을 제안했다.
매우 높은 희소도
연결을 많이 없앤 조건에서는 학습하기 좋은 구조를 남기는 것이 특히 중요하다. 연구는 높은 희소도에서 기존 기준과 성능을 비교했다.
초기 실험의 범위
CIFAR-10과 CIFAR-100 및 Tiny-ImageNet과 ImageNet에서 VGG와 ResNet 구조로 평가했다. 보고된 정확도와 가중치 감소 효과는 해당 자료와 모델의 설정에 따른 결과다.