대리 작업의 한계
작은 데이터나 축소한 모형으로 고른 구조가 실제 큰 작업에서도 최선이라고 보장되지는 않는다. 장치가 바뀌면 같은 구조의 실행 효율도 달라질 수 있다. ProxylessNAS는 목표 환경에 더 직접 맞춘 탐색을 다룬다.
장치별 순위의 독립 예제
가상 구조 A와 B의 실행 시간이 장치 X에서는 2ms와 3ms, 장치 Y에서는 5ms와 4ms라고 하자. 빠른 구조의 순위가 뒤집힌다. 특정 장치에서의 속도를 다른 장치에 그대로 적용할 수 없다는 예이며 실제 제품 측정값은 아니다.
탐색 비용
연속 표현으로 여러 연산 후보를 함께 다루면 탐색 중 메모리가 커질 수 있다. 후보가 많아도 실행 가능한 탐색 절차를 만드는 것이 중요하다. 탐색 비용을 줄였다는 설명과 전체 탐색이 계산 없이 이루어진다는 주장은 다르다.
실제 효율 평가
연산 수가 적다고 지연시간도 항상 짧은 것은 아니다. 커널 지원과 메모리 접근, 실행 병렬성이 영향을 준다. 정확도와 목표 장치의 측정 지표를 함께 평가하고 배치, 입력 크기 및 측정 조건을 일치시킨다.
관련 문서
DARTS / ENAS / Once-for-All / EfficientNetV2 / 언어 모형 / 트랜스포머