크기를 정규화한 표현
임베딩과 MLP 및 어텐션 행렬과 은닉 상태를 구성하는 벡터들을 단위 노름으로 정규화한다. 표현의 크기를 제약한 공간에서 모델을 학습하는 접근이다.
초구면 위의 이동
토큰의 표현이 초구면 표면을 따라 이동하고 각 계층은 목표 출력 예측을 향한 변위를 더한다. MLP와 어텐션 블록의 벡터 성분도 같은 초구면에 놓이도록 구성했다.
학습 과정의 비교
연구는 같은 정확도에 도달하는 데 필요한 학습 단계 수를 비교했다. 시퀀스 길이에 따라 결과가 달라지는 조건을 함께 보고했다.
효율 수치의 의미
학습 단계 수가 줄어드는 결과와 실제 장치에서의 실행 시간 및 전체 비용은 서로 다른 지표다. 논문이 비교한 시퀀스와 모델의 조건에 따라 결과를 해석해야 한다.
관련 문서
Differential Transformer / 트랜스포머 / 자기 어텐션 / KAN / 신경 접선 커널 / 언어 모델