여러 축의 확장
영상 모델을 크게 만드는 방법은 채널 수를 늘리는 것만이 아니다. 더 많은 시간 표본을 읽거나 화면 해상도를 높이고 층을 깊게 할 수도 있다. X3D는 작은 출발 모델에서 이런 축을 단계적으로 확장하는 설계를 사용한다.
한 번에 한 축씩
각 단계에서 한 축을 확장한 후보를 평가해 정확도와 복잡도의 관계를 비교한다. 목표 복잡도에 맞추는 과정에는 확장 후 축소도 사용한다. 모든 축을 무조건 같은 배수로 키우는 규칙이나 임의의 환경에서 최적임을 보장하는 방법은 아니다.
해상도와 값의 수
설명용으로 프레임당 100×100 화소를 8장 읽으면 화소 위치는 80,000개다. 두 화면 축을 각각 두 배로 늘리면 같은 프레임 수에서 320,000개가 된다. 실제 합성곱 연산량은 채널과 커널, 층별 크기까지 포함해야 한다.
작은 모델의 실측
매개변수가 적어도 중간 특징이 크면 메모리 사용량이 늘 수 있다. 연산 수와 실제 기기의 지연도 같은 수치는 아니다. 영상 디코딩과 전처리를 포함한 처리 시간, 클립 길이 및 평가 횟수를 명시해 모델 크기와 정확도를 함께 비교한다.
관련 문서
SlowFast / PoseC3D / 합성곱 신경망 / MobileNet / EfficientNet / 신경망 구조 탐색