거리와 표현 해상도
가까운 위치의 세부 관계를 유지하면서 멀리 있는 영역은 축약된 표현으로 참조한다. 모든 위치를 같은 해상도로 비교하는 전역 자기 주의와 달리 거리별로 다른 세밀함을 사용한다.
넓은 문맥의 전달
지역 정보와 거친 전역 정보를 함께 활용하면 제한된 참조 비용 안에서 멀리 떨어진 시각 요소의 관계를 다룰 수 있다. 거친 표현이 원래의 모든 세부 정보를 보존하는 것은 아니며 해상도별 범위의 선택이 중요하다.
표현 수를 세는 예
멀리 있는 8×8 영역을 2×2 단위로 요약하면 대표 위치는 16개다. 가까운 세부 토큰 9개와 이 대표 위치들을 참조하는 설명용 구성을 생각하면 질의 하나의 참조 수는 25개다. 실제 모형의 범위와 중복 처리 규칙을 지정한 예는 아니다.
해석과 평가
이름의 focal은 손실 함수인 포컬 손실을 뜻하지 않는다. 여기서는 공간 정보의 처리 해상도를 다르게 하는 주의 방식을 가리킨다. 분류와 검출 등에 사용할 수 있지만 효율 비교는 해상도와 모형 크기, 실제 실행 환경을 맞춰 진행해야 한다.
관련 문서
Twins 비전 트랜스포머 / Swin Transformer / Pyramid Vision Transformer / 자기 주의 / 트랜스포머 / 포컬 손실