다른 프레임의 관측 활용
현재 프레임에서 가려지거나 지워진 곳이 다른 프레임에서는 보일 수 있다. ProPainter는 이런 전역 대응을 활용하는 정보 전파를 개선한다. 광류가 부정확하면 잘못 정렬될 수 있으므로 영상 자체와 학습한 특징의 장점을 함께 이용한다.
두 영역의 전파
이미지 워핑과 특징 워핑을 결합하는 이중 영역 전파를 사용한다. 한 영역에서만 정보를 전달하던 접근의 한계를 줄이려는 설계다. 다른 프레임에서 얻을 수 있는 관측과 모든 프레임에서 없는 정보를 생성하는 문제는 구분해야 한다.
필요한 토큰을 선택하는 예
설명용 토큰이 100개일 때 복원과 관계없는 40개를 제외하면 처리 대상은 60개가 된다. 하지만 전체 연산량이 반드시 40퍼센트 줄어드는 것은 아니다. 마스크 기반 선택의 의미를 보여주는 예이며 실제 모델의 제외 비율은 아니다.
희소 처리와 결과 확인
마스크 유도 희소 영상 트랜스포머로 불필요하거나 중복된 토큰을 줄인다. 누락 영역의 질감과 주변 경계뿐 아니라 여러 프레임에서의 깜빡임도 확인한다. 영상 길이와 마스크 크기에 따른 처리 시간 및 메모리를 함께 비교한다.
관련 문서
E2FGVI / LaMa 이미지 복원 / MAT 이미지 인페인팅 / RePaint / RAFT / VRT 영상 복원