어떤 벡터를 줄일 것인가
PoWER-BERT는 자기 어텐션에서 벡터의 중요도를 측정해 중복된 중간 단어 벡터를 제거한다. 모형과 손실 함수를 확장해 얼마나 많은 벡터를 제거할지도 학습한다.
길이 설정을 바꿀 수 있는 학습
길이 적응 트랜스포머는 LengthDrop으로 각 층의 시퀀스 길이를 무작위로 정하며 학습한다. 이후 다목적 진화 탐색으로 주어진 계산 예산에 맞는 정확도와 효율의 길이 구성을 선택한다.
토큰별 출력이 필요한 경우
Drop-and-Restore는 중간 층에서 단어 벡터를 일시적으로 제외하고 필요한 경우 마지막 층에서 복원한다. 이 구성으로 시퀀스 분류 외에 토큰 수준의 예측도 다루며 구간 기반 질의응답과 텍스트 분류에서 평가했다.
관련 문서
Funnel-Transformer / LayerDrop / DeeBERT / FastBERT / DynaBERT / ELUE와 ElasticBERT