고정 가중치와 적응 가중치
깊이별 합성곱은 상대 위치에 따른 학습된 커널을 반복해서 사용한다. 자기 주의는 입력 특징 사이의 관계에 따라 결합 가중치를 바꾼다. CoAtNet은 두 방식의 성질을 함께 이용하는 설계를 다룬다.
상대 위치의 반영
주의 점수에 상대 위치별 항을 더한 뒤 소프트맥스로 정규화할 수 있다. 그러면 어느 위치 관계인지를 나타내는 학습된 정보와 현재 입력의 내용이 함께 가중치에 영향을 준다. 위치 정보와 내용 정보가 같은 종류의 정보라는 뜻은 아니다.
두 후보의 독립 예제
내용 점수가 둘 다 0이면 소프트맥스 가중치는 각각 0.5다. 첫 후보의 상대 위치 항이 ln 3이고 둘째가 0이면 정규화 전 값은 3과 1이어서 가중치는 0.75와 0.25가 된다. 이는 위치 항의 효과만 분리한 예제로 전체 모형의 예측 확률은 아니다.
단계 구성과 평가
대표 구성은 앞쪽에 합성곱을, 뒤쪽에 주의 연산을 배치한다. 두 경로를 끝까지 병렬로 유지하는 방식과 구분된다. 구조의 효과를 비교할 때 데이터 규모와 사전 학습 조건, 모형 크기를 함께 확인하며 특정 벤치마크 결과를 모든 데이터에서의 우위로 일반화하지 않는다.
관련 문서
Mobile-Former / MobileViT / ConvNeXt / 합성곱 신경망 / 자기 주의 / 소프트맥스