위키득계정 ↗
기술

D2-Net

D2-Net기술
영문
A Trainable CNN for Joint Detection and Description of Local Features
명칭
D2-Net
주요 모델
공유 합성곱 신경망
학습 단서
공간 복원에서 얻은 화소 대응
D2-Net은 하나의 합성곱 신경망을 조밀한 특징 기술자와 특징 검출기로 함께 사용하는 방법이다. 낮은 수준의 구조를 먼저 검출하기보다 더 뒤 단계의 특징 표현에서 관심점을 골라 어려운 촬영 조건의 대응을 다룬다.

기술과 검출의 공유

조밀하게 계산한 특징은 각 위치의 기술자로 해석하면서 관심점을 고르는 데에도 사용한다. 검출기와 기술자가 완전히 별개의 표현을 사용하는 구성과 다르다. 위치 선택을 늦추면 더 넓은 문맥의 특징을 검출에 활용할 수 있다.

낮은 수준 무늬의 변화

낮과 밤에 같은 벽을 찍으면 밝기 경계나 그림자가 크게 달라질 수 있다. 가장 이른 단계의 명암 변화만 기준으로 잡으면 같은 장소에서도 다른 점을 고를 수 있다. 이 예는 더 뒤 단계의 특징을 활용하는 동기를 설명하며 조명 불변성이 완벽하다는 뜻은 아니다.

대응에서 학습하기

여러 사진으로 만든 공간 복원에서 화소 대응을 얻어 모델을 학습한다. 별도의 수작업 주석을 더하지 않는 구성이라도 복원에서 얻은 감독 정보는 존재한다. 주석을 새로 달지 않는 것과 아무 대응 정보 없이 학습하는 것은 구분해야 한다.

후속 처리의 필요

검출된 특징은 다른 영상과 매칭하고 기하적으로 검증해야 공간 복원이나 위치 추정에 사용할 수 있다. 특징 수와 해상도 및 장면 조건을 맞춰 비교한다. 조밀한 기술자 지도를 얻는다는 사실을 모든 화소가 최종 대응점으로 채택된다는 의미로 해석하지 않는다.

관련 문서

R2D2 특징 추출 / SuperPoint / SuperGlue / LightGlue / LoFTR / DUSt3R