패치 경계와 세부
특징맵을 겹치지 않는 패치로 강하게 나누면 작은 경계가 패치 사이에 걸릴 수 있다. FuseFormer는 세밀한 특징 융합으로 이러한 문제를 다룬다. 긴 범위의 관계를 학습하는 능력과 패치보다 작은 구조를 보존하는 능력을 함께 고려한다.
겹치는 분할과 합성
Soft Split은 특징맵을 겹치는 구간을 가진 패치로 나눈다. Soft Composition은 패치를 다시 모으면서 겹친 위치의 값을 합한다. 트랜스포머 전후의 토큰 변환뿐 아니라 피드포워드망 안에도 두 연산을 넣어 공간 구조를 다룬다.
겹친 값의 예
설명용으로 같은 위치에 두 패치의 값 2와 3이 모이면 합은 5다. 평균 2.5와는 다른 연산이다. 겹침 합성과 평균을 구분하는 예이며 실제 특징의 값이나 전체 복원식, 후속 정규화 유무를 지정하지는 않는다.
경계와 시간의 평가
패치 내부보다 작은 수준의 정보 교환을 강화해 누락 영역의 내용을 합성한다. 세부가 선명해도 다른 프레임과 일관적인지 확인해야 한다. 마스크 경계와 작은 무늬, 시간적 깜빡임 및 패치 설정에 따른 전체 메모리와 실행 비용을 함께 비교한다.
관련 문서
STTN 영상 인페인팅 / ProPainter / E2FGVI / MAT 이미지 인페인팅 / Uformer / VRT 영상 복원