모바일 언어 모형의 비용
성능이 높은 언어 모형도 계산량이 크면 모바일 장치에서 응답이 늦어질 수 있다. SqueezeBERT는 모형을 배치할 실제 장치의 실행 효율을 설계 문제로 다룬다.
비전 설계 기법의 적용
그룹 합성곱은 연산을 그룹으로 나누어 계산하는 방식이다. 연구는 자기 어텐션 층의 여러 연산을 이 방식으로 대체하는 구성을 제시했다. 어텐션 전체를 없앤 구조라는 뜻은 아니다.
실행시간과 언어 성능
Pixel 3에서 BERT-base와 실행 속도를 비교하고 GLUE에서 언어 성능을 평가했다. 이 결과는 해당 장치와 설정에서의 비교이며 다른 하드웨어에서도 같은 배속을 보장하는 값으로 해석하지 않는다.
관련 문서
Lite Transformer / Funnel-Transformer / AutoTinyBERT / DynaBERT / NAS-BERT / HW-NAS-Bench