색을 먼저 만들지 않기
각 프레임의 빈 RGB 픽셀을 곧바로 합성하는 대신 픽셀을 어디에서 옮겨올지에 주목한다. 이를 위해 프레임들 사이의 공간적 및 시간적 일관성을 가진 광학 흐름을 완성한다. 영상 채우기를 픽셀 전파 문제로 보는 접근이다.
흐름 완성망
Deep Flow Completion 신경망은 거친 수준에서 세밀한 수준으로 흐름 필드를 보정한다. 어려운 흐름 예제를 찾아 활용하는 학습으로 흐름의 품질도 개선한다. 완성한 흐름은 이후 빈 영역에 픽셀을 전달하는 안내가 된다.
다른 프레임의 관측
설명용으로 벽의 무늬가 첫 프레임에서는 가려지고 다음 프레임에서는 드러난다고 하자. 대응이 정확하면 보이는 프레임의 정보를 빈 부분에 전달할 수 있다. 모든 프레임에서 가려진 무늬까지 실제로 관측한 정보로 되살릴 수 있다는 뜻은 아니다.
흐름 오차와 시간 일관성
흐름이 경계를 넘어 잘못 연결되면 다른 물체의 색이 빈 부분에 들어올 수 있다. 한 프레임의 외관만이 아니라 이어 재생할 때의 흔들림과 경계도 확인해야 한다. 전파 경로의 정확성과 채워진 내용의 자연스러움은 서로 연결되지만 같은 평가 항목은 아니다.
관련 문서
시간 구조 기반 영상 인페인팅 / E2FGVI / ProPainter / FGT 영상 인페인팅 / FuseFormer / STTN 영상 인페인팅