불필요한 문맥의 영향
입력의 모든 내용이 다음 예측에 똑같이 유용한 것은 아니다. 연구는 관련 없는 문맥에도 어텐션이 많이 배분되는 문제를 줄이려는 구조를 제시했다.
차분 어텐션
두 개의 별도 소프트맥스 어텐션 맵을 계산하고 그 차이를 어텐션 점수로 사용한다. 공통 잡음을 상쇄하고 희소한 어텐션 패턴이 나타나도록 하는 것이 설계의 의도다.
긴 문맥과 순서 변화
논문은 긴 문맥 모델링과 핵심 정보 검색 및 문맥 내 학습 등을 평가했다. 문맥 내 예시의 순서를 바꾸는 조건에 대한 강건성도 비교했다.
생성 오류의 분석
질의응답과 요약의 잘못된 생성 및 활성화 이상치 감소도 분석했다. 특정 실험의 개선을 모든 입력에서 환각이 사라진다는 의미로 해석해서는 안 된다.
관련 문서
nGPT / 자기 어텐션 / 트랜스포머 / Titans 장기 기억 모델 / RULER / 언어 모델