움직임과 외형을 구분하기
중간 프레임 생성에는 어디로 이동하는지와 어떤 모습인지를 함께 알아야 한다. 둘을 무작정 섞거나 완전히 별도 모듈로 처리하면 표현과 효율에 문제가 생길 수 있다. EMA-VFI는 하나의 연산에서 두 종류의 정보를 명시적으로 추출한다.
어텐션 맵의 재사용
프레임 간 어텐션의 정보 처리 과정을 이용해 같은 맵으로 외형 특징을 강화하고 움직임 정보를 추출한다. 합성곱 및 트랜스포머 혼합 구조에 통합해 세부 표현을 보존하면서 어텐션 비용을 줄이는 방향을 택한다.
관계와 특징의 예
설명용으로 다음 프레임의 후보 위치가 2와 6이고 관계 가중치가 0.75와 0.25라면 가중 위치는 3이다. 같은 가중치로 후보의 색 특징도 집계할 수 있다. 관계 정보를 여러 목적으로 쓰는 예이며 실제 움직임 추출 공식이나 확률 해석을 규정하지는 않는다.
시점과 어려운 장면
고정된 중간 시점과 임의 시점 보간을 나누어 평가한다. 시간 위치가 달라지면 가림과 필요한 대응도 달라질 수 있다. 큰 움직임 및 작은 대상의 경계, 프레임별 질감과 처리 비용을 확인하고 여러 중간 영상을 만들 때의 전체 시간도 비교한다.
관련 문서
AMT 프레임 보간 / CAIN 프레임 보간 / FLAVR / RIFE / FILM 프레임 보간 / ABME