R2plus1D

공간과 시간을 따로 처리하기

한 번에 시공간 커널을 적용하는 대신 공간 패턴을 처리하고 시간 변화를 처리하는 연산을 나누어 둔다. R2plus1D는 잔차 학습 안에서 이런 구성을 연구한 모델이다. 공간과 시간의 정보가 서로 무관하다고 가정한다는 뜻은 아니다.

차원 분해와 모델 구성

분해한 블록의 동작은 중간 채널 수와 연산 사이의 구성에 영향을 받는다. 이름이 비슷해도 모든 분리 합성곱이 같은 모델은 아니다. 특히 채널별 합성곱과 시공간 축의 분해를 동일한 연산으로 혼동하지 않아야 한다.

가중치 수의 예

설명용으로 편향 없이 입출력 채널이 각각 4인 3×3×3 필터는 432개 가중치를 가진다. 중간 채널을 8로 둔 공간 1×3×3과 시간 3×1×1 연산은 각각 288개와 96개로 합계 384개다. 중간 채널에 따라 결과가 달라지므로 분해가 항상 같은 절감률을 주지는 않는다.

구조와 성능의 비교

연산을 나눈 구조의 정확도는 실제 학습과 데이터에서 확인해야 한다. 입력 프레임 수, 사전 학습과 평가 클립 수가 다르면 구조만의 차이를 판단하기 어렵다. 연산 수뿐 아니라 메모리 접근과 실행 환경에 따른 지연도 따로 측정한다.