수작업 설계의 여러 선택지
비전 트랜스포머의 성능은 깊이와 특징 차원 및 어텐션 헤드 수의 영향을 받는다. AutoFormer는 이 선택을 수작업으로 고정하는 대신 구조 탐색 문제로 다룬다.
후보 사이의 가중치 공유
공유모형을 훈련할 때 같은 층에 있는 서로 다른 블록의 가중치를 얽어 사용한다. 학습이 끝나면 후보 부분망들이 가중치를 상속받아 평가에 활용한다.
상속 성능과 전이 평가
연구는 상속받은 가중치의 부분망을 처음부터 다시 학습한 경우와 비교했다. 탐색한 여러 크기의 모형을 이미지 인식에서 평가하고 다른 과제의 벤치마크 및 증류 실험으로 전이도 조사했다.
관련 문서
SPOS 구조 탐색 / BigNAS / AttentiveNAS / FairNAS / BANANAS / HW-NAS-Bench