큰 움직임의 문제
두 프레임에서 같은 표면이 멀리 이동하면 대응을 찾기 어려워진다. FILM은 큰 움직임을 다루는 다중 스케일 특징을 통합된 보간망에서 처리한다. 광류와 깊이의 별도 정답을 반드시 필요로 하는 구성과 달리 프레임만으로 학습하는 방식을 제시한다.
스케일 사이의 가중치 공유
여러 해상도에서 같은 추출기 가중치를 사용해 특징을 만든다. 작은 움직임과 큰 움직임의 표현을 연결하는 데 활용한다. 가중치를 공유한다고 모든 해상도의 특징이 같거나 추가 연산이 전혀 없다는 뜻은 아니다.
해상도와 움직임의 예
설명용으로 원본에서 24화소 이동한 점은 좌표를 네 배 축소한 격자에서 6칸 이동에 해당한다. 거친 해상도에서는 큰 이동이 더 작은 범위로 보이지만 세부가 줄어들 수 있다. 이 계산은 실제 모델의 스케일 수나 모든 대응이 성공하는 조건을 지정하지 않는다.
지각 손실과 시간 일관성
Gram 행렬 손실은 특징 맵 사이 상관의 차이를 비교해 선명한 결과를 학습하는 데 사용한다. 선명함만으로 중간 시점이 실제와 같다는 사실을 입증하지는 못한다. 가림과 큰 변형, 연속 생성의 흔들림을 확인하고 입력 간격 및 출력 수와 전체 비용을 맞춰 비교한다.
관련 문서
RIFE / BasicVSR / RVRT / RAFT 광류 추정 / 광류 / SwinIR