두 단계의 역할
먼저 Outlooker로 세부적인 국소 정보를 토큰 표현에 넣고 뒤의 트랜스포머 블록으로 전역 관계를 처리한다. 국소 정보와 전역 정보의 처리를 단계적으로 배치하는 구조다.
국소 가중치의 생성
Outlook attention은 중심 위치의 특징을 선형 변환해 주변 창의 결합 가중치를 만든다. 질의와 키의 모든 쌍에 대한 내적으로 주의 점수를 만드는 방식과 다르다. 생성된 가중치로 주변 값을 변환하고 겹치는 창에서 같은 위치로 온 결과를 합친다.
행렬 크기의 독립 예제
창의 한 변 K가 3이면 내부 위치는 K²=9개다. 이 아홉 위치 사이의 변환 행렬은 9×9로 원소가 81개다. K가 5이면 25×25로 625개다. 이는 한 창의 가중치 크기 계산이며 모형 전체의 매개변수 수는 아니다.
세부 정보와 비용
더 큰 국소 창은 참조 범위를 늘리지만 가중치 생성과 값 결합의 비용도 바꾼다. 겹치는 창의 결과를 합치는 계산과 전역 단계도 포함해 평가해야 한다. 국소 가중치를 직접 생성한다는 이유만으로 입력에 독립적인 고정 합성곱이 되는 것은 아니다.