시간축에서 대응 찾기
영상 보간에서는 두 프레임의 같은 물체가 다른 위치에 나타날 수 있다. 같은 좌표끼리만 비교하는 것으로 움직이는 대상의 관계를 충분히 파악하기 어렵다. 흐름 트랜스포머는 광학 흐름의 움직임 단서를 자기 주의에 연결한다.
대응 지역의 시간 자기 주의
Flow Transformer Block은 흐름 안내로 맞춘 국소 영역 안에서 시간 자기 주의를 계산한다. 큰 움직임을 다루면서 계산 복잡도를 합리적으로 유지하려는 구성이다. 국소 영역에서 연산하더라도 대응 자체는 움직임 추정에 영향을 받는다.
여러 규모의 움직임
다중 규모 구조로 서로 다른 크기의 움직임을 고려한다. 전역의 큰 이동과 작은 세부의 대응은 확인할 수준이 다르다. 보간 결과의 선명도와 경계의 일관성, 가려진 부분의 자연스러움을 함께 살펴볼 필요가 있다.
대응 범위의 독립 예
설명용으로 물체가 두 프레임 사이에 오른쪽으로 12칸 이동했다고 하자. 같은 좌표 주변만 찾으면 물체 대신 배경을 볼 수 있다. 실제 모형의 탐색 크기나 단위를 재현한 값이 아니라 움직임 안내의 필요성을 보여 주는 예다.
관련 문서
광학 흐름 / MA-VFI / AMT / EMA-VFI / BiFormer 프레임 보간 / VRT