위키득계정 ↗
기술

TE-NAS

TE-NAS기술
연구 공개
2021년
발표
ICLR 2021
평가 구성
NTK 스펙트럼과 선형 영역 수
탐색 방식
가지치기 기반
TE-NAS는 신경 접선 커널의 스펙트럼과 입력 공간의 선형 영역 수로 구조를 평가하는 훈련 없는 탐색 방법이다. 학습 가능성과 표현력의 두 관점을 결합해 후보 구조를 고른다.

학습 없이 평가하는 두 신호

신경 접선 커널의 스펙트럼과 입력 공간의 선형 영역 수를 분석한다. 가중치 훈련이나 정답 주석 없이 계산하는 측정값으로 학습 가능성과 표현력을 살핀다.

두 특성 사이의 균형

원 연구는 두 측정값과 테스트 정확도의 상관을 조사했다. 가지치기 기반 탐색으로 학습 가능성과 표현력 사이의 균형을 조정하며 구조를 선택한다.

탐색 공간에서의 평가

NAS-Bench-201과 DARTS 공간에서 탐색 비용과 결과를 평가했다. 초기 신호의 유용성은 비교한 구조와 과제에 관한 경험적 결과이며, 모든 후보의 최종 성능을 확정하는 값은 아니다.

관련 문서

LGA 구조 평가 / Zen-NAS / 훈련 전 활성 기반 구조 탐색 / 경량 NAS의 무훈련 대리지표 / NAS-Bench-201 / FairNAS