빈 위치와 관측 위치 구분하기
가려진 영역의 임시 값과 실제 보이는 화소는 정보의 성격이 다르다. MAT는 마스크로 유효한 토큰을 구분해 주의가 활용할 비국소 정보를 모은다. 채움 중 추정한 위치를 원래 관측과 같은 확실성으로 다루는 문제를 줄이려는 설계다.
트랜스포머와 합성곱의 결합
멀리 떨어진 이미지 부분의 관계와 국소적인 영상 패턴을 함께 다루기 위해 두 종류의 연산을 결합한다. 인페인팅에 맞춘 블록을 사용하므로 일반 분류용 트랜스포머와 입력 해석이 다르다. 마스크가 있다는 사실만으로 결손 내용이 유일하게 결정되지는 않는다.
유효 토큰의 예
설명용으로 토큰 20개 중 8개가 결손이라면 처음 관측한 토큰은 12개다. 결손 위치를 숫자 0으로 채워도 검은색을 실제로 관측한 0과 의미가 다르다. 마스크는 이런 구분을 전달하는 단서이며 이 수는 모델의 실제 설정이 아니다.
여러 가능한 채움
넓은 영역에는 서로 다른 그럴듯한 결과가 가능하다. 원본 정답과의 화소 일치만으로 다양성과 자연스러움을 모두 평가하기는 어렵다. 유효 영역 보존, 결손 경계와 전체 구조를 함께 확인하고 마스크 크기 및 해상도를 맞춰 품질과 메모리 및 지연을 비교한다.
관련 문서
LaMa 이미지 복원 / Deep Image Prior / Restormer / 비전 트랜스포머 / 비국소 신경망 / 합성곱 신경망