다른 연산을 하나의 공간에 넣기
성질이 다른 연산을 조합하면 설계 선택지가 커지고 연산 사이의 특징 연결도 중요해진다. UniNet은 후보들을 같은 구성 매개변수로 기술해 통합 탐색 공간을 구성한다.
문맥을 고려하는 다운샘플링
문맥 인지 다운샘플링 모듈은 서로 다른 연산이 만든 특징 사이의 차이를 줄이도록 설계됐다. 연산 자체와 해상도를 줄이는 모듈을 함께 선택해 혼합 구조를 찾는다.
기준 구조의 탐색과 확장
강화학습 기반 탐색으로 기준 신경망을 찾고 규모를 확대해 UniNet 계열을 구성했다. 이 접근은 특정 연산 하나를 일괄 대체하기보다 여러 연산과 다운샘플링의 조합을 설계 대상으로 삼는다.
관련 문서
BossNAS / AutoFormer / ViTAS 구조 탐색 / BigNAS / HW-NAS-Bench / NAS-Bench-Suite