두 방식의 기억
순환 모델은 정보를 고정 크기의 상태로 압축하고 어텐션은 문맥 창 안의 직접적인 의존 관계를 다룬다. Titans 연구는 두 방식의 성질을 기억의 관점에서 비교했다.
과거 문맥을 학습하기
신경 장기 기억 모듈이 과거 문맥을 기억하도록 학습한다. 이를 통해 어텐션이 현재 문맥에 집중하면서 오래전 정보도 활용하도록 설계했다.
결합 구조의 변형
어텐션을 제한된 범위에서 정밀하게 동작하는 단기 기억으로 보고 신경 기억을 더 지속적인 장기 기억으로 해석한다. 논문은 두 모듈의 결합 방법에 대한 세 변형을 제시했다.
다양한 과제의 평가
연구는 언어 모델링과 상식 추론 및 유전체와 시계열 과제로 평가했다. 긴 문맥에서 특정 정보를 찾는 시험도 수행하며 결합 구조의 효과를 비교했다.