광류를 따라 전달하는 정보
영상 인페인팅에서는 다른 프레임의 관측을 움직임 궤적을 따라 가져올 수 있다. 하지만 처리 단계를 고정해 따로 실행하면 앞 단계의 실수가 뒤에 영향을 준다. E2FGVI는 세 역할을 학습 가능한 모듈로 구성해 함께 최적화한다.
세 모듈의 역할
광류 완성은 빠진 움직임 단서를 다룬다. 특징 전파는 프레임 사이의 정보를 전달하고 내용 생성은 복원할 영역의 내용을 합성한다. 기능을 나눈다는 것과 각 모듈을 항상 별도 학습해야 한다는 것은 다르다.
보이는 곳과 없는 곳
설명용으로 벽의 무늬가 첫 프레임에서는 가려지고 두 번째에서는 보이면 관측을 활용할 수 있다. 두 프레임 모두에서 가려지면 같은 방식으로 실제 무늬를 확인할 수 없다. 관측 전파와 내용 생성의 차이를 보여주는 예이며 특정 실험 결과를 옮긴 것은 아니다.
공동 학습의 해석
종단 간 학습은 전체 복원 목표에 맞춰 모듈을 조정하는 방향이다. 모든 움직임 추정 오류가 없어지거나 생성한 내용이 원본과 같다는 보장은 아니다. 경계 및 질감, 시간적 일관성과 전체 실행 비용을 같은 영상 및 마스크 조건에서 비교한다.
관련 문서
ProPainter / LaMa 이미지 복원 / RePaint / RAFT / TOFlow / VRT 영상 복원