사실을 떠올리는 계산
연구는 자기회귀 트랜스포머가 사실 연관을 저장하고 회상하는 과정을 분석했다. 사실 예측에 결정적인 활성화를 찾기 위해 인과적 개입을 사용했다.
중간 계층의 역할
주어 토큰을 처리할 때 중간 계층의 피드포워드 모듈이 사실 예측을 매개하는 과정을 관찰했다. 특정 계산의 역할을 찾은 뒤 그 부분을 바꾸는 편집을 시도했다.
랭크 하나의 수정
ROME는 피드포워드 가중치에 랭크 하나의 수정을 적용해 특정 사실 연관을 갱신한다. 모델이 답할 때 외부 문서를 검색하도록 하는 방식과 달리 내부 매개변수를 직접 수정한다.
일반화와 구체성의 평가
연구는 zsRE 편집 과제와 반사실 주장 데이터로 평가했다. 바꾼 지식이 관련 표현에도 적용되는지와 무관한 다른 지식을 보존하는지를 함께 살폈다.