영상 중심 벤치마크의 확장
기존 구조 탐색 벤치마크는 영상 자료와 합성곱 계열 구조에 집중했다. NAS-Bench-NLP는 텍스트의 언어 모형 과제를 사용해 자연어 처리 분야에서 탐색을 비교할 수 있도록 했다.
미리 계산한 학습 결과
텍스트 자료에서 순환 신경망의 탐색 공간을 구성하고 약 1만 4천 구조를 학습했다. 탐색 알고리즘은 이 결과를 활용해 후보를 처음부터 모두 학습하는 부담을 낮출 수 있다.
언어 과제로 보는 구조 평가
학습된 모형을 내부 평가뿐 아니라 의미 관련성과 언어 이해 자료를 이용한 외부 평가로도 조사했다. 또한 여러 탐색 알고리즘을 시험해 사전 계산 결과를 탐색 비교에 사용하는 방식을 제시했다.
관련 문서
NAS-Bench-Suite / BANANAS / NAS-Bench-101 / NAS-Bench-201 / KNAS / Zero-Cost-PT