위키득계정 ↗
기술

SALAD 장소 인식

SALAD 장소 인식기술
초기 발표
2023년
전체 이름
Sinkhorn Algorithm for Locally Aggregated Descriptors
집계 문제
특징과 군집 사이의 최적 수송
특징 백본
미세 조정한 DINOv2
SALAD는 국소 특징을 전역 장소 기술자로 모으는 과정을 최적 수송으로 구성하는 방법이다. 정보가 적은 특징을 별도 군집으로 보낼 수 있게 하고, DINOv2 특징을 미세 조정해 활용한다.

장소의 전역 표현

질의 사진을 많은 장소 사진과 비교하려면 국소 특징을 하나의 전역 기술자로 모아야 한다. SALAD는 이 집계 단계를 학습 가능한 수송 문제로 다룬다.

양방향 할당 관계

NetVLAD의 국소 특징에 대한 소프트 군집 할당을 최적 수송으로 다시 구성한다. 특징에서 군집으로 가는 관계와 군집에서 특징으로 가는 관계를 함께 고려한다.

정보가 적은 특징의 처리

dustbin 군집은 장소 구별에 도움이 적다고 판단한 특징을 선택적으로 제외하기 위한 구성이다. 모든 국소 특징이 전역 기술자에 같은 방식으로 기여하도록 강제하지 않는다.

단일 단계의 평가

DINOv2를 백본으로 사용하고 미세 조정한다. 논문은 공개 장소 인식 자료에서 단일 단계 방식과 재순위화를 추가하는 두 단계 방식을 비교해 집계의 효과를 평가했다.

관련 문서

NetVLAD / DINOv2 / CosPlace / MixVPR / 최적 수송 / 영상 검색