가까운 이웃을 넘어서
국소 연산을 여러 층 쌓으면 먼 위치의 정보도 전달할 수 있지만 전달 경로가 길어질 수 있다. 비국소 연산은 멀리 있는 위치 사이의 관계를 직접 구성한다. 시간과 공간이 떨어진 관측의 단서를 함께 활용하는 것이 목적이다.
관계에 따른 특징 집계
어느 위치를 얼마나 반영할지 나타내는 관계 가중치와 변환된 특징을 사용해 응답을 계산한다. 비국소 블록은 다양한 기존 시각 모델에 삽입할 수 있다. 모든 위치를 똑같이 평균내는 연산과는 다르다.
가중합의 예
설명용으로 특징 값이 1, 5, 9이고 가중치가 0.2, 0.3, 0.5이면 가중합은 6.2다. 같은 값에서 가중치를 0.5, 0.3, 0.2로 바꾸면 3.8이다. 이 예는 관계의 역할을 보여주며 실제 블록의 특징 변환 전체를 나타내지는 않는다.
먼 관계와 계산 비용
먼 위치를 연결해도 모든 관계가 의미 있거나 정확한 것은 아니다. 위치 수가 많아지면 관계 계산의 메모리와 연산 부담도 커질 수 있다. 삽입 위치와 입력 해상도를 함께 확인하고, 영상 분류와 객체 검출처럼 서로 다른 작업의 성능 수치를 구분해 비교한다.
관련 문서
TimeSformer / ViViT / I3D / SlowFast / 트랜스포머 / 합성곱 신경망