모듈마다 작은 대체물 만들기
먼저 원래 BERT를 여러 모듈로 나누고 각각에 대응하는 작은 대체 모듈을 구성한다. 압축 대상과 대체물이 학습 과정에서 함께 사용되는 구조다.
무작위 교체의 점진적 확대
원래 모듈을 대체 모듈로 무작위 교체해 학습하고 시간이 지날수록 교체 확률을 높인다. 작은 모듈이 원래 모형의 문맥 안에서 동작을 배우도록 상호작용을 만든다.
추가 손실 없이 압축하기
기존 증류 방식과 비교해 별도의 추가 손실 함수를 도입하지 않는 접근이다. 연구는 GLUE에서 압축 모형을 평가하며 모듈 교체를 통한 학습이 지식 전달의 다른 경로가 될 수 있음을 조사했다.
관련 문서
BERT의 Patient Knowledge Distillation / TinyBERT / DistilBERT / MiniLM과 MiniLMv2 / MobileBERT / DynaBERT