다시 찾는 것과 구별하는 것
관심점이 여러 사진에서 반복해서 검출되어도 비슷한 무늬가 많으면 올바른 상대를 찾기 어렵다. R2D2는 검출의 반복성과 기술자의 판별력을 구분한다. 안정적으로 보이는 위치와 신뢰할 수 있게 대응되는 위치는 항상 같지 않다.
반복 무늬의 예
똑같은 창문이 열 개 나란히 있는 건물에서는 각 창문의 모서리가 잘 검출될 수 있다. 하지만 모서리 주변만 보면 어느 창문인지 혼동할 수 있다. 같은 위치를 다시 검출하는 능력만으로 대응의 정확성이 보장되지 않는다는 예다.
함께 학습하는 신뢰도
기술자와 검출을 학습하면서 해당 기술자로 신뢰할 만한 매칭을 할 수 있는지도 예측한다. 모호한 영역을 피하고 구별 가능한 위치를 활용하려는 구성이다. 신뢰도 점수가 높다는 사실은 실제 대응이 반드시 맞는다는 증명과는 다르다.
평가의 범위
특징 수가 같더라도 반복 무늬와 조명 변화에서 잘못된 대응 비율은 달라질 수 있다. 반복성, 매칭 정확도 및 위치 추정 결과를 나누어 확인한다. 특징을 추출하는 비용과 이후 대응 및 기하 검증 비용도 함께 살펴 전체 성능을 판단한다.
관련 문서
SuperPoint / D2-Net / SuperGlue / LightGlue / LoFTR / MASt3R