공간과 시간 관계의 분리
영상의 빈 영역을 채우려면 같은 프레임의 배경 질감과 다른 프레임의 움직이는 대상을 함께 참고해야 한다. DSTT는 시공간 어텐션 학습을 두 하위 작업으로 나눈다. 두 관계를 구분해 계산 부담과 질감 복원을 함께 다루려는 구성이다.
블록의 교대 적용
시간 분리 블록은 같은 공간 위치의 여러 프레임을 살피고 공간 분리 블록은 같은 프레임의 여러 위치를 살핀다. 두 블록을 엮어 쌓아 정보를 전달한다. 계층형 인코더는 여러 수준의 국소 공간 구조를 유지하는 특징을 만든다.
관계 수의 개념 예
설명용으로 프레임 4개와 위치 8개가 있으면 토큰은 32개다. 모든 쌍은 1,024개지만 시간 내부 관계는 8×4²=128개이고 공간 내부 관계는 4×8²=256개다. 단순 관계 수 예제이며 실제 모델의 전체 연산량이나 동등한 표현 능력을 뜻하지 않는다.
분리 구조의 해석
공간과 시간을 분리한다고 시간 일관성이 자동으로 보장되는 것은 아니다. 움직임이 큰 영역이나 반복 질감, 가림 조건에서 결과를 확인한다. 누락 영역의 경계와 시간적 깜빡임을 함께 살피고 영상 길이 및 해상도를 맞추어 처리 비용을 비교한다.
관련 문서
FGT 영상 인페인팅 / STTN 영상 인페인팅 / FuseFormer / ProPainter / E2FGVI / VRT 영상 복원