이미지 모델에서 영상 모델로
이미지 분류 모델은 한 화면의 공간적 패턴을 처리한다. 영상에서는 여러 프레임의 관계도 필요하다. I3D는 이미지 모델의 구성 요소를 시간축으로 확장해 공간과 시간을 함께 처리하는 특징 추출기를 만든다.
확장이 뜻하는 것
필터와 풀링 커널에 시간 방향 크기를 더하는 것이 핵심이다. 여기서 3차원은 시간과 화면의 두 공간축을 가리키며 실제 장면의 깊이 복원을 뜻하지 않는다. 이미지 사전 학습을 활용하는 초기 조건과 영상에서 추가로 학습하는 과정도 구분된다.
커널 크기의 예
설명용으로 단일 입출력 채널에서 3×3 공간 필터는 가중치가 9개다. 시간 길이 5의 3차원 필터는 5×3×3=45개다. 실제 모델의 시간 커널이 모두 5라는 뜻은 아니며 채널, 편향과 층별 연산도 따로 포함해야 한다.
입력과 평가 조건
두 흐름 구성에서는 RGB와 광류처럼 서로 다른 입력 정보를 활용한다. 광류를 얻는 데 필요한 전처리 비용을 제외한 모델 실행 시간과 전체 처리 시간은 다르다. 영상 사전 학습 데이터, 입력 흐름과 평가 클립 수를 맞춰 다른 모델과 비교한다.
관련 문서
SlowFast / X3D / TimeSformer / PoseC3D / 광류 / 합성곱 신경망