초기 커널 지표의 한계
원 연구는 초기 신경 접선 커널에서 유도한 여러 지표를 비교했다. 학습 과정에서 커널이 변하는 특성을 분석해 현대 신경망의 비선형성을 초기값만으로 포착하기 어려울 수 있음을 조사했다.
소량 학습의 반영
LGA는 비선형 특성을 고려하는 커널 기반 지표로 제안됐다. 최소한의 학습을 거친 평가와 학습 후 정확도 사이의 순위 상관을 살폈다.
탐색 비용의 절충
몇 차례의 학습 반복을 기존 탐색 알고리즘과 결합했다. 후보 전체를 완전히 학습하는 방식과 초기 상태만 보는 방식 사이에서 비용과 평가 신뢰성의 균형을 다룬다.
관련 문서
TE-NAS / 훈련 전 활성 기반 구조 탐색 / 경량 NAS의 무훈련 대리지표 / Zen-NAS / FairNAS / AttentiveNAS