메모리 연산의 병목
텐서 모양 변경과 원소별 연산처럼 다중 헤드 자기 어텐션의 메모리 접근이 속도를 제한할 수 있다. 연구는 효율적인 전방향 신경망 층 사이에 한 자기 어텐션을 배치하는 구성을 제안했다.
헤드 사이 중복의 감소
여러 헤드의 어텐션 지도가 비슷한 현상을 분석한다. 전체 특징을 나누어 서로 다른 헤드에 전달하는 연쇄 그룹 어텐션으로 계산 중복과 표현 다양성을 함께 다룬다.
환경별 속도의 비교
이미지 분류의 정확도뿐 아니라 GPU와 CPU의 처리량을 평가했다. 모형 구조와 메모리 연산 및 실행 형식을 함께 고려해 실제 속도와 정확도의 균형을 조사했다.
관련 문서
EfficientFormer / FastViT / RepViT / MobileViT / 비전 트랜스포머 / 트랜스포머