위키득계정 ↗
기술

nasgraph

nasgraph기술
연구 공개
2024년
원제
Graph is all you need?
평가 대리값
그래프 평균 차수
특징
자료 비의존 훈련 없는 탐색
nasgraph는 신경망 구조를 그래프로 바꾸고 평균 차수를 평가 대리값으로 사용하는 구조 탐색 방법이다. 자료의 입력이나 후보 학습 없이 그래프 특성에서 구조의 유망함을 추정한다.

구조를 그래프로 변환하기

후보 신경망을 그래프 형태로 나타내 구조적 정보를 얻는다. 개별 모형을 훈련해 성능을 평가하는 대신 그래프의 평균 차수를 대리 평가값으로 사용한다.

입력 자료 없이 평가하기

모형에 입력을 통과시켜 활성이나 경사를 측정하는 방식과 달리 자료에 의존하지 않는다. 후보 학습과 자료 처리를 줄여 경량 탐색을 구성한다.

여러 구조 공간의 평가

NAS-Bench-101과 NAS-Bench-201 및 NDS에서 평가했다. Micro TransNAS-Bench-101의 더 다양한 과제로도 전이를 조사했으며, 평균 차수가 모든 구조의 성능을 보장하는 척도라는 뜻은 아니다.

관련 문서

훈련 전 활성 기반 구조 탐색 / FairNAS / SPOS 구조 탐색 / NAS-Bench-101 / NAS-Bench-201 / AttentiveNAS