위치마다 움직이는 창
근방 어텐션은 각 위치를 기준으로 가까운 이웃을 선택한다. 영상을 고정된 여러 창으로만 나누는 방식과 달리 비교 범위가 기준 위치를 따라 이동하는 슬라이딩 윈도 구조다.
연산량과 수용 영역
이웃 범위를 고정하면 입력 위치 수에 대해 시간과 공간 사용량이 선형으로 증가하는 구조를 얻는다. 층을 쌓으면서 더 넓은 영역의 정보가 전달되며 별도의 창 이동 조작 없이 수용 영역을 확장한다.
계층형 영상 표현
NAT는 근방 어텐션을 이용해 여러 단계의 시각 특징을 구성한다. 영상 분류뿐 아니라 물체 검출과 의미 분할처럼 서로 다른 해상도의 공간 정보를 활용하는 과제에 적용했다.
연산 구현과 실험
연구진은 효율적인 C++ 및 CUDA 커널을 포함한 NATTEN을 공개했다. 실제 속도와 메모리는 입력 크기와 커널 구현, 비교 장치에 따라 달라지므로 논문의 특정 실험 결과를 모든 환경의 수치로 적용할 수는 없다.
관련 문서
비전 트랜스포머 / Swin Transformer / 셀프 어텐션 / 수용 영역 / 의미 분할 / CUDA