공유 가중치의 불균형
합성곱 신경망의 탐색 방식을 비전 트랜스포머에 그대로 적용하면 공유모형의 학습이 불안정해질 수 있다. 연구는 후보마다 채널 사용이 불균형해지는 것이 가중치 공유의 가정을 약화한다고 분석했다.
채널을 순환하며 공유하기
토큰 임베딩에 순환 가중치 공유를 도입해 채널별 기여가 후보들에 더 고르게 분포하도록 했다. 또한 항등 연산의 배치를 조정하는 아이덴티티 시프팅과 약한 증강 및 정규화 설정을 함께 조사했다.
탐색한 구조의 평가
DeiT와 Twins를 기반으로 한 탐색 공간에서 방법을 평가했다. 이미지 분류와 객체 검출 실험은 탐색된 구조의 성능을 확인하기 위한 것으로, 모든 트랜스포머의 학습 안정성을 보장하는 결과는 아니다.
관련 문서
AutoFormer / BossNAS / FairNAS / SPOS 구조 탐색 / BigNAS / NAS-Bench-Suite