위키득계정 ↗
기술

SuperGlue

SuperGlue기술
영문
Learning Feature Matching with Graph Neural Networks
명칭
SuperGlue
입력
두 집합의 국소 특징
대응 구성
주의 기반 문맥과 최적 수송
SuperGlue는 두 영상에서 얻은 국소 특징 집합 사이의 대응을 학습하는 신경망이다. 주의 기반 그래프 신경망으로 문맥을 모으고 미분 가능한 최적 수송을 사용해 대응과 대응할 수 없는 점을 함께 판단한다.

점 하나씩 비교하는 대신

각 특징의 유사도만 따로 비교하면 반복 무늬에서 여러 후보가 비슷할 수 있다. SuperGlue는 같은 영상 안과 두 영상 사이의 관계를 모아 대응 비용을 학습한다. 특징을 검출하는 기능 자체와 그 특징 사이의 연결을 찾는 기능은 구분한다.

대응하지 않는 점

한 영상에만 보이는 물체나 다른 영상에서 가려진 점은 올바른 상대가 없을 수 있다. 모든 점을 강제로 연결하면 잘못된 대응이 늘어난다. SuperGlue는 대응할 수 없는 점을 거절하는 과정까지 포함해 부분적인 할당을 다룬다.

할당의 독립 예제

첫 집합에 A와 B, 두 번째 집합에 X와 Y가 있을 때 A와 B가 모두 X와 가장 비슷할 수 있다. 각 점이 독립적으로 X를 고르는 것과 집합 전체의 할당 제약을 고려하는 것은 다르다. 실제 최적 수송은 유사도와 비대응 처리 등을 함께 다루므로 이 예를 단순한 탐욕 선택 알고리즘으로 해석하지 않는다.

적용과 평가

영상 대응은 카메라 자세 추정과 공간 복원 파이프라인의 한 부분이다. 대응이 개선되어도 카메라 보정과 기하 추정의 모든 오류가 사라지지는 않는다. 입력 특징의 종류와 수, 잘못된 대응 비율 및 전체 실행 비용을 같은 조건에서 비교한다.

관련 문서

LoFTR / MASt3R / DUSt3R / 그래프 신경망 / 트랜스포머 / BARF