위키득계정 ↗
기술

다중 유사도 손실

다중 유사도 손실기술
영문명
Multi Similarity Loss
약칭
MS loss
첫 단계
점쌍 마이닝
둘째 단계
선택한 점쌍의 가중
다중 유사도 손실은 깊은 거리 학습에서 학습할 점쌍을 먼저 고르고 그 쌍의 영향도 다시 조절하는 손실이다. 쌍 자체의 유사도뿐 아니라 같은 기준점을 공유하는 다른 양성 및 음성 쌍과의 관계를 반영한다.

세 관계를 함께 보기

기준점과 음성 표본의 코사인 유사도가 높으면 구별이 어려울 수 있다. 그러나 같은 점수라도 양성 쌍들이 얼마나 가까운지, 다른 음성 쌍보다 얼마나 어려운지에 따라 중요성이 달라진다. 다중 유사도 손실은 이러한 상대 관계를 점쌍 선택과 가중에 나누어 활용한다.

점쌍 선택의 계산

음성 쌍은 가장 낮은 양성 유사도에서 ε를 뺀 값보다 유사도가 클 때 선택한다. 양성 유사도가 0.6과 0.9이고 ε=0.1이라면 음성의 기준은 0.5다. 음성 유사도 0.55는 선택되고 0.3은 제외된다. 이 예에서는 엄격한 부등호를 적용한다.

선택 이후의 가중

고른 쌍을 모두 같은 강도로 다루지 않고 지수 함수와 정규화된 합으로 기여를 조절한다. 선택 단계가 후보를 줄이고 가중 단계가 남은 후보의 상대 영향을 정한다. 따라서 한 쌍의 효과는 자신의 점수만 아니라 함께 선택된 다른 쌍의 점수에도 의존한다.

자료와 배치 구성

양성과 음성을 판단할 레이블이나 관계 정보가 필요하다. 배치에 특정 범주가 거의 없으면 사용할 양성 쌍도 적어질 수 있다. 마이닝 여유 간격, 가중 매개변수, 배치의 범주 구성을 함께 정하고 검색 성능은 학습에 쓰지 않은 질의와 후보로 확인한다.

관련 문서

지도 대조 학습 / LMNN / FaceNet / 코사인 유사도 / 신경망 / 이미지 검색