위키득계정 ↗
기술

AMT 프레임 보간

AMT 프레임 보간기술
영문
All-Pairs Multi-Field Transforms
대상
영상 프레임 보간
대응 단서
양방향 상관 볼륨
합성 요소
다중 흐름장
AMT는 양방향 상관 볼륨과 여러 흐름장을 이용해 중간 프레임을 생성하는 영상 보간 구조다. 거친 흐름을 갱신한 뒤 여러 세밀한 흐름으로 입력 영상을 워핑한다.

위치 사이의 관계

중간 프레임을 만들려면 입력 프레임의 여러 위치가 어떻게 대응하는지 알아야 한다. AMT는 모든 화소 쌍의 양방향 상관 볼륨을 만들고 흐름 예측으로 필요한 상관 정보를 읽는다. 흐름과 보간할 내용 특징을 함께 갱신한다.

하나보다 여러 흐름

갱신한 거친 흐름 쌍에서 여러 그룹의 세밀한 흐름장을 만든다. 각 흐름으로 입력 프레임을 별도 역방향 워핑한다. 큰 움직임과 가림을 다루는 표현을 강화하려는 구성으로, 흐름 수만 늘리면 항상 품질이 좋아지는 것은 아니다.

상관의 크기 예

설명용으로 각 프레임에 특징 위치가 16개씩 있으면 모든 위치 쌍은 256개다. 위치가 각각 32개가 되면 1,024쌍으로 늘어난다. 모든 쌍의 관계 수를 보여주는 예이며 실제 상관 볼륨의 해상도나 전체 메모리 사용량은 아니다.

속도와 복원 정확도

합성곱 기반 구조로 정확도와 효율을 함께 평가한다. 서로 다른 모델을 비교할 때 입력 해상도와 출력 프레임 수를 맞춰야 한다. 경계의 이중상과 작은 대상, 가림 영역의 결과 및 전체 워핑 비용을 함께 확인한다.

관련 문서

EMA-VFI / RAFT / RIFE / ABME / AdaCoF / 소프트맥스 스플래팅