패치 투영과의 차이
표준적인 패치 투영은 패치 크기와 같은 커널 및 보폭으로 이미지를 토큰 격자로 바꾼다. 합성곱 스템은 작은 커널의 여러 단계로 해상도를 줄인다. 변경되는 부분은 초기 시각 처리이며 뒤쪽의 트랜스포머 연산 전체를 합성곱으로 대체하는 것은 아니다.
점진적인 공간 축소
출력 크기가 단계마다 절반이 되게 패딩한 보폭 2 합성곱 네 층을 생각하자. 한 변 224인 입력은 112, 56, 28, 14로 줄어든다. 최종 격자는 14×14이며 보폭 16의 패치 투영과 공간 크기가 같다. 그러나 중간 표현과 연산 과정은 다르다.
초기 수용 영역의 예
커널 3, 보폭 2, 팽창률 1인 네 층의 이론적 수용 영역은 한 변이 3, 7, 15, 31로 증가한다. 이는 경계 패딩의 실제 유효 화소를 제외한 구조상의 계산이다. 최종 위치 간 간격은 16이지만 참조 가능한 범위는 그보다 넓을 수 있다.
학습 효과를 평가하기
옵티마이저와 학습 기간을 바꾸었을 때 정확도와 수렴이 얼마나 민감하게 반응하는지 비교한다. 특정 설정의 안정성 개선을 모든 데이터와 모든 트랜스포머에 대한 보장으로 일반화할 수는 없다. 초기 처리 비용도 포함해 전체 모형을 평가한다.
관련 문서
MobileViT / Swin Transformer / 합성곱 신경망 / 트랜스포머 / 수용 영역 / 최적화