한 번 학습한 여러 선택지
각 장치에 맞는 구조를 매번 처음부터 독립적으로 학습하는 부담을 줄이려는 접근이다. 지원하는 부분망 중 자원 제약에 맞는 구성을 고른다. 임의의 새 구조까지 학습 없이 생성하는 것은 아니며 미리 학습한 선택 범위가 있다.
설정 조합의 독립 예제
깊이 두 가지, 너비 세 가지, 커널 두 가지를 독립 선택할 수 있다면 조합은 2×3×2=12개다. 실제 부분망이 모두 유효한지와 품질이 같은지는 따로 확인해야 한다. 이 수는 실제 OFA 구성의 부분망 개수를 나타내지 않는다.
점진적인 축소 학습
큰 구성에서 작은 구성까지 다양한 부분망을 지원하도록 점진적 축소 절차를 사용한다. 특정 작은 부분망을 고르는 일이 단순히 아무 가중치나 잘라 버리는 일반적인 삭제와 같지는 않다. 학습된 공유 가중치가 여러 선택에 대응하도록 준비되어야 한다.
선택과 배포 비용
추가 학습 없이 선택 가능한 구성이 있어도 장치 지연시간 측정과 구조 탐색, 상태 확인의 비용은 남는다. 모든 부분망이 독립 학습 모형과 항상 같은 정확도를 가진다고 일반화할 수는 없다. 목표 정확도와 실제 자원 제약을 함께 평가한다.
관련 문서
ProxylessNAS / DARTS / ENAS / EfficientNetV2 / 신경망 양자화 / 트랜스포머