보이지 않는 상대
첫 프레임에 있던 점이 다음 프레임에서 다른 물체에 가려지면 직접 대응할 화소를 찾기 어렵다. 영상 바깥으로 나간 경우도 유사한 정보 부족이 생긴다. GMA는 같은 첫 영상 안의 관계를 활용해 이런 영역의 추정을 보완한다.
움직임 특징을 모으기
트랜스포머 기반 구성으로 멀리 있는 화소 사이의 의존 관계를 찾고 관련 움직임 특징을 집계한다. 가까운 이웃만으로 정보를 퍼뜨리는 방식보다 넓은 문맥을 활용한다. 외관이 비슷한 화소가 항상 같은 물체이거나 같은 이동을 갖는다는 보장은 아니다.
가림의 독립 예제
달리는 버스의 한쪽 면이 가로등에 가려졌다고 하자. 보이는 버스의 다른 부분은 가려진 부분의 이동을 추정하는 단서가 될 수 있다. 그러나 창문에 비친 배경까지 버스와 같은 움직임으로 취급하면 틀릴 수 있다. 문맥 활용이 유용하면서도 선택이 필요한 이유다.
추정 결과의 검증
가려진 영역에서 얻은 이동은 새로 관측한 대응이 아니라 모델의 추정이다. 가림 영역과 비가림 영역의 오차를 구분하고 움직임 경계가 뭉개지지 않는지 살펴본다. 집계 모듈의 비용과 전체 광류 네트워크의 실행 시간도 나누어 비교한다.
관련 문서
GMFlow / RAFT 광류 추정 / PWC-Net / FlowNet 2 / 트랜스포머 / Nerfies