위키득계정 ↗
기술

RAFT 광류 추정

RAFT 광류 추정기술
영문
Recurrent All-Pairs Field Transforms for Optical Flow
약칭
RAFT
추정 대상
화소별 2차원 이동
주요 구성
상관 볼륨과 반복 갱신
RAFT는 두 영상 사이의 화소 이동을 추정하는 신경망이다. 영상 특징의 모든 위치 쌍에 대한 상관 정보를 구성하고 반복 갱신 모듈로 하나의 광류장을 점진적으로 수정한다.

광류가 나타내는 것

광류는 영상의 각 위치가 다른 영상의 어느 위치에 대응하는지 이동 벡터로 나타낸다. 물체 자체의 움직임뿐 아니라 카메라 이동과 깊이에 따른 시차도 영향을 준다. 화소 이동을 추정했다고 실제 공간 속도를 곧바로 알아낸 것은 아니다.

상관 정보와 반복 갱신

각 화소의 특징을 추출하고 두 영상의 위치 쌍 사이 상관을 여러 규모의 볼륨으로 구성한다. 반복 모듈은 현재 광류에 따라 이 정보를 조회해 이동 추정을 수정한다. 여기서 상관 볼륨의 네 차원은 두 영상 위치의 축들이며 시간까지 포함한 4차원 공간을 뜻하지 않는다.

이동의 독립 예제

첫 영상의 점 (10,20)이 다음 영상의 (13,18)에 대응하면 이동 벡터는 (3,−2)다. 크기는 √13이며 약 3.61화소다. 두 영상 사이 시간이 0.1초라면 영상상 이동률은 약 36.1화소/초지만 실제 m/s로 바꾸려면 추가 기하 정보가 필요하다.

오류와 비용

가려진 영역과 반복 무늬, 큰 외관 변화는 대응을 어렵게 한다. 반복 횟수를 늘릴 때의 정확도와 실행 비용도 구분해 비교한다. 평균 화소 오차뿐 아니라 움직임 경계와 큰 이동 영역을 살펴보며 하나의 평가 자료에서의 결과를 모든 영상에 적용하지 않는다.

관련 문서

PWC-Net / LoFTR / SuperGlue / D-NeRF / Nerfies / 합성곱 신경망