위키득계정 ↗
기술

SuperPoint

SuperPoint기술
영문
Self-Supervised Interest Point Detection and Description
명칭
SuperPoint
출력
관심점 위치와 기술자
학습 구성
호모그래피 적응
SuperPoint는 영상에서 관심점 위치와 해당 지점의 기술자를 함께 계산하는 학습 기반 특징 추출 방법이다. 전체 영상을 처리하는 합성곱 모델과 호모그래피 적응을 활용해 여러 관측에서 반복되는 관심점을 학습한다.

검출과 기술의 결합

관심점 검출은 특징 위치를 고르는 과정이고 기술자는 주변 외관을 비교할 수 있는 수치 표현이다. SuperPoint는 한 번의 순전파로 두 종류의 출력을 함께 계산한다. 기술자가 있다고 다른 영상의 올바른 상대까지 자동으로 확정되는 것은 아니다.

호모그래피 적응

영상을 여러 호모그래피로 변환한 뒤 검출 결과를 원래 좌표계에 모아 반복 가능한 관심점의 학습에 활용한다. 알려진 변환을 통해 관측 사이의 관계를 제공하는 방식이다. 변환이 알려져 있다는 점과 실제 3차원 장면의 깊이를 알고 있다는 점은 다르다.

변환의 독립 예제

평면 좌표 (u,v)를 (u+5,v−2)로 옮기면 점 (10,8)은 (15,6)이 된다. 이 경우 역변환은 이동을 되돌리는 것이다. 호모그래피는 이런 이동보다 일반적인 사영 변환을 표현하지만 깊이가 다른 모든 물체의 시차를 하나로 설명하지는 못한다.

특징의 평가

다른 영상에서도 같은 물체 부분이 다시 검출되는지와 기술자로 정확히 대응되는지를 따로 살펴본다. 관심점 수를 늘리면 비용과 잘못된 후보도 늘 수 있다. 카메라 자세 추정에 사용할 때는 대응 알고리즘 및 기하 검증까지 포함한 결과를 확인한다.

관련 문서

SuperGlue / LightGlue / LoFTR / MASt3R / DUSt3R / 합성곱 신경망