공간 정보를 채널로
CAIN은 특징맵의 정보를 여러 채널로 나누어 담고 채널 사이의 관계를 학습한다. 공간 재배열과 채널 어텐션을 결합해 움직임 정보를 추출한다. 원래 RGB 세 채널의 색상 중요도만 조절하는 방식으로 이해하면 구조의 의미를 놓친다.
별도 움직임망과의 차이
종단 간 학습하며 별도의 움직임 추정 신경망 구성 요소를 사용하지 않는다. 광류 계산 결과를 고정 입력으로 받는 접근과 구별된다. 명시적인 광류망을 생략해도 큰 움직임과 가림은 여전히 어려운 조건이 될 수 있다.
재배열의 크기 예
설명용으로 4×4 공간의 단일 채널 특징 16개를 2×2 공간의 4채널로 재배열하면 총 값 수는 16개로 같다. 공간 축과 채널 축의 배치를 바꾼 예이며 실제 모델의 축소 비율이나 모든 연산을 나타내지는 않는다.
움직임별 평가
연구는 움직임 크기에 따라 난도를 나눈 SNU-FILM 평가 자료도 제안한다. 쉬운 장면의 평균만으로 큰 움직임이나 가림에서의 성능을 판단하기 어렵다. 경계의 이중상과 작은 구조, 프레임 사이의 깜빡임을 함께 확인하고 전체 실행 비용을 비교한다.