움직임이 알려 주는 대응
유사한 색의 영역이 여러 곳에 있으면 외형만으로 적절한 참고 위치를 고르기 어려울 수 있다. FGT는 광류가 드러내는 움직임 차이를 어텐션 검색의 단서로 이용한다. 광류가 틀렸을 때 그 단서도 부정확할 수 있다.
흐름 완성과 전파
국소 시간 창의 관련 특징을 이용해 손상된 광류를 완성한다. 완성한 흐름으로 프레임 사이에 내용을 전파하고 남은 영역을 트랜스포머로 합성한다. 흐름 재가중 모듈로 공간 트랜스포머에 미치는 영향도 조절한다.
두 단서의 예
설명용으로 파란 물체 두 개가 비슷해 보여도 하나는 오른쪽으로, 다른 하나는 왼쪽으로 움직일 수 있다. 외형 유사도와 이동 단서는 서로 다른 정보를 준다. 이는 검색 단서의 차이를 보여주는 예이며 실제 어텐션 점수 계산식을 나타내지는 않는다.
국소와 전역의 결합
시간과 공간 차원을 분리하고 윈도 분할로 처리 효율을 높인다. 공간 어텐션에는 전역 토큰을 윈도 어텐션과 결합하는 설계를 사용한다. 흐름 오차와 가림, 복잡한 질감에서 경계 및 시간 일관성을 확인하고 전체 실행 비용을 비교한다.
관련 문서
DSTT / ProPainter / E2FGVI / STTN 영상 인페인팅 / FuseFormer / RAFT