한 장씩 채울 때의 문제
동영상의 빈 부분을 프레임별로 자연스럽게 채워도 다음 프레임에서 모양이 달라질 수 있다. 이 접근은 프레임 안의 세부와 프레임 사이의 시간적 일관성을 함께 다룬다. 시간 구조를 먼저 추론하는 망과 공간 세부를 복구하는 망을 나눈다.
낮은 해상도의 시간 구조
시간 구조 추론망은 3차원 완전 합성곱 구조를 사용한다. 3차원 합성곱의 계산 부담 때문에 낮은 해상도의 동영상 볼륨을 완성하도록 한다. 시간 방향 관계를 다루면서 원래 해상도의 모든 처리를 이 단계에 맡기지 않는다.
원해상도의 공간 세부
낮은 해상도 결과가 공간 세부 복구망에 시간적 안내를 제공한다. 2차원 완전 합성곱망으로 프레임의 원래 해상도에서 빈 부분을 채운다. 두 하위망은 따로 고정해 쓰는 데 머물지 않고 함께 종단 간 학습한다.
격자 수의 차이
설명용으로 10프레임의 100×100 격자는 위치가 100000개다. 각 프레임을 50×50으로 줄이면 25000개가 된다. 이는 해상도와 처리 위치 수의 관계이며 실제 합성곱 연산이나 메모리 사용량이 정확히 4분의 1이라는 뜻은 아니다.
관련 문서
STTN 영상 인페인팅 / FuseFormer / DSTT / FGT 영상 인페인팅 / E2FGVI / ProPainter