서로 다른 블록의 평가
합성곱과 트랜스포머처럼 성질이 다른 후보가 함께 있으면 구조를 공정하게 평가하기 어렵다. BossNAS는 큰 공유 공간과 감독 방식이 구조의 평가에 주는 영향을 줄이려 한다.
블록별 앙상블 부트스트래핑
탐색 공간을 블록으로 나누고 앙상블 부트스트래핑이라는 자기지도 절차로 각 블록을 따로 학습한다. 이후에는 학습한 블록들을 전체 구조의 관점에서 함께 탐색한다.
다운샘플링 위치도 탐색하기
HyTra 공간은 합성곱과 트랜스포머의 조합뿐 아니라 다운샘플링 위치도 탐색 대상으로 둔다. 연구는 이 공간에서 찾은 모형과 다른 공간에서의 구조 평가 순위를 실험해 방법을 조사했다.
관련 문서
AutoFormer / FairNAS / SPOS 구조 탐색 / BigNAS / NAS-Bench-Suite / TransNAS-Bench-101