위키득계정 ↗
기술

BMBC

BMBC기술
관련 논문
Bilateral Motion Estimation with Bilateral Cost Volume for Video Interpolation
대상
영상 프레임 보간
대응 추정
양쪽 움직임 및 비용 볼륨
출력 결합
동적 혼합 필터
BMBC는 양쪽 입력으로 향하는 움직임과 비용 볼륨을 이용해 중간 프레임을 합성하는 보간 방법이다. 추정한 움직임으로 입력을 워핑한 뒤 동적으로 만든 혼합 필터로 결합한다.

중간 시점의 두 방향

중간 영상의 화소를 만들려면 양쪽 입력에서 참고할 위치를 찾아야 한다. BMBC는 양쪽 움직임을 비용 볼륨과 함께 추정하는 신경망을 사용한다. 이때 두 방향의 정보는 가림과 대상 이동에 따라 서로 다르게 유용할 수 있다.

다른 움직임 단서와 워핑

양방향 움직임을 근사해 다른 종류의 양쪽 움직임 단서도 얻는다. 추정한 움직임으로 두 입력 영상을 워핑하고 동적 필터 생성망으로 결합 가중치를 만든다. 위치 정렬과 내용 혼합은 서로 다른 역할이다.

혼합 비중의 예

설명용으로 정렬한 두 후보 값이 4와 12라면 같은 비중의 평균은 8이다. 한 후보가 가려져 신뢰하기 어렵다면 다른 비중이 필요할 수 있다. 단순 평균이 항상 맞지 않는다는 예이며 실제 필터의 크기나 정규화 규칙을 지정하지는 않는다.

복잡한 장면의 평가

가림과 큰 움직임에서는 두 입력에 충분한 관측이 없을 수 있다. 워핑 결과가 비슷해 보이더라도 작은 구조가 중복되거나 사라지는지 확인한다. 동일한 해상도와 출력 프레임 수에서 품질 및 전체 실행 비용을 비교하고 시간적 일관성도 함께 살핀다.

관련 문서

IFRNet / ABME / AMT 프레임 보간 / DAIN / AdaCoF / RIFE