EfficientNetV2

학습 비용을 포함한 설계

EfficientNetV2의 구조 탐색은 정확도뿐 아니라 학습 속도와 매개변수 수를 고려한다. 추론 연산량이 작은 구조가 반드시 빨리 학습되는 것은 아니므로 학습 과정 자체의 효율을 설계 기준에 포함한다.

서로 다른 합성곱 블록

MBConv와 Fused-MBConv를 함께 활용한다. Fused-MBConv는 확장용 1×1 합성곱과 깊이별 공간 합성곱을 일반 공간 합성곱으로 결합한 형태다. 두 블록의 실제 속도 차이는 특징 크기와 장치의 연산 지원에 영향을 받는다.

점진적인 학습

작은 입력 이미지에서 학습을 시작해 해상도를 높인다. 이미지 크기에 맞춰 데이터 증강과 드롭아웃 같은 규제의 강도도 조절한다. 작은 이미지에서도 마지막 단계와 똑같이 강한 규제를 적용하는 방식과 구분된다.

해상도와 비용의 관계

한 변 128인 정사각형 이미지는 16,384화소이고 한 변 256이면 65,536화소다. 변 길이는 두 배지만 화소 수는 네 배다. 이는 독립적인 크기 계산이며 전체 학습 시간이 정확히 네 배라는 뜻은 아니다. 배치 크기와 연산 구성, 학습 단계별 반복 횟수까지 함께 측정해야 비용을 비교할 수 있다.