STTN 영상 인페인팅

프레임별 복원의 불일치

한 프레임의 빈 영역을 자연스럽게 채워도 다음 프레임에서 다른 무늬를 선택하면 영상은 깜빡일 수 있다. STTN은 공간과 시간의 정보를 함께 고려하는 자기 어텐션으로 여러 입력 프레임의 누락 영역을 동시에 복원한다.

공동 시공간 학습

공간 및 시간 차원의 어텐션 결과가 일관되지 않아 생기는 흐림과 인공 흔적을 다룬다. 학습에는 시공간 적대 손실을 이용한다. 판별기가 자연스럽다고 판단하는 결과가 원래 가려졌던 내용과 동일하다는 뜻은 아니다.

무늬의 시간 일관성

설명용으로 정지한 벽의 빈 영역을 첫 프레임에서는 줄무늬로, 다음 프레임에서는 격자로 채우면 각 프레임이 자연스러워도 영상에서는 변화가 드러난다. 공간적 자연스러움과 시간 일관성이 다른 조건이라는 예이며 특정 모델의 실패 사례를 옮긴 것은 아니다.

마스크 조건의 비교

고정된 마스크뿐 아니라 움직이는 객체 마스크로도 평가한다. 마스크가 움직이면 다른 프레임에서 참고할 수 있는 관측도 달라질 수 있다. 경계와 질감, 시간적 흔들림 및 영상 길이에 따른 처리 비용을 함께 살핀다. 이 문서는 인페인팅 모델을 가리키며 같은 약어의 다른 복원 구조와 구분한다.