두 프레임 사이 만들기
프레임 보간은 관측된 프레임 사이의 새 시점 영상을 생성한다. 가림이나 갑자기 달라지는 움직임에서는 대응 관계가 불명확해 흐림이나 가짜 윤곽이 생길 수 있다. MA-VFI는 중간 흐름 추정의 정확성과 비용을 함께 다룬다.
다른 수용 영역의 특징
계층적 피라미드 모듈로 서로 다른 수용 영역에서 전역 의미 관계와 공간 세부를 추출한다. 넓은 움직임과 작은 구조를 함께 표현하는 방향이다. 이 구성은 광학 흐름을 쓰지 않는다는 뜻이 아니라 연속 프레임에서 중간 흐름을 직접 추정하는 방법이다.
흐름과 특징의 상호 작용
규모 간 움직임 구조로 추출 특징을 이용해 중간 흐름 지도를 추정하고 정제한다. 중간 흐름 중심의 손실로 학습을 안내한다. 여러 규모의 정보가 연결되더라도 입력에 보이지 않는 영역의 실제 내용을 확정할 수 있는 것은 아니다.
불연속 움직임의 독립 예
설명용으로 공이 두 관측 시점 사이에 벽에 튕겼다면 단순한 직선 중간 위치와 실제 위치가 다를 수 있다. 두 장만으로 접촉 시각이 충분히 정해지는지도 살펴야 한다. 실제 실험 데이터를 사용하지 않은 보간의 불확정성에 대한 예다.
관련 문서
광학 흐름 / AMT / IFRNet / EMA-VFI / BiFormer 프레임 보간 / EDSC 프레임 보간