채널을 공간 지도로 요약하기
합성곱 특징이 C×H×W 모양이면 각 위치의 채널 반응을 모아 H×W 지도를 만든다. 절댓값의 합, 절댓값을 거듭제곱한 값의 합이나 최댓값 등 서로 다른 요약을 사용할 수 있다. 어떤 지도를 택했는지에 따라 강조되는 공간 위치가 달라질 수 있다.
활성값 요약의 직접 예제
채널이 두 개이고 위치가 두 곳이라고 하자. 위치 A의 채널 값이 (1,2), B가 (2,0)이면 절댓값 합 지도는 (3,2)이고 제곱합 지도는 (5,4)다. 같은 특징에서도 요약 방식이 다르면 지도의 비율이 달라진다. 이 계산은 반응을 요약하는 방법을 보여 줄 뿐 A가 실제 물체의 원인이라는 뜻은 아니다.
학생이 따라 하는 대상
교사와 학생의 대응층에서 지도를 구하고 크기와 정규화 기준을 맞춰 차이를 줄이는 학습 항을 추가한다. 교사와 학생의 채널 수가 같지 않아도 채널을 요약한 지도를 비교할 수 있다. 공간 해상도가 다르면 정렬 또는 크기 조정 방식도 정해야 한다. 최종 정답을 배우는 과제 손실과의 비중은 별도로 조절한다.
이름이 비슷한 개념 구별
여기서 어텐션은 특징이나 기울기에서 만든 공간적 지도에 관한 정의다. 트랜스포머의 쿼리와 키로 계산한 어텐션 행렬을 그대로 뜻하지는 않는다. 주목 지도의 유사성이 출력의 완전한 일치나 설명의 인과적 타당성을 보장하지 않으며, 실제 학생 성능은 평가 자료로 확인해야 한다.