중간 층의 공간 정보
마지막 층의 질의와 키를 자기 상관 방식으로 바꾸는 것만으로는 다른 층의 공간 대응을 놓칠 수 있다. 연구는 마지막이 아닌 층의 질의 키 상관에도 위치 정보가 있다고 분석했다.
잔차 교차 상관의 활용
RCS 모듈은 중간 층의 교차 상관 자기 어텐션을 사용해 마지막 블록의 어텐션을 다시 구성한다. 여러 층에서 이미 학습한 공간 정보를 밀집 예측에 활용한다.
분할 결과로 되돌리는 의미
SFR 모듈은 의미 분할 지도를 이용해 어텐션 점수를 더 조정한다. 같은 범주의 영역에 집중하고 지역적 일관성을 개선하려는 피드백 과정이다.
결합 방식과 평가
두 전략을 기존 접근에 끼워 넣는 형태로 여러 표준 벤치마크에서 평가했다. 추가 학습이 없다는 조건에서도 어떤 층과 피드백 절차를 쓰는지에 따라 계산과 출력이 달라진다.