정규화 할인 누적 이득

앞쪽 순위의 가중치

한 가지 정의는 i번째 항목의 이득 gi를 log2(i+1)로 나누어 합한 값을 DCG로 둔다. 첫 항목의 할인 분모는 1, 둘째는 약 1.585이다. 이득이 큰 항목이 뒤로 밀리면 기여가 줄어든다. 이득을 관련성 점수 그대로 둘지, 2의 거듭제곱 등으로 변환할지에 따라 값이 달라지므로 사용한 정의를 명시해야 한다.

세 항목의 계산

세 항목의 이득이 3,1,0이라고 하자. 이상적인 순서는 3,1,0이므로 DCG는 3+1/log2(3), 약 3.631이다. 예측 순서가 1,3,0이면 1+3/log2(3), 약 2.893이다. 두 값을 나눈 NDCG는 약 0.797이다. 같은 항목들을 모두 반환하더라도 앞뒤 순서가 달라지면 평가값이 달라지는 예제다.

상위 K개와 예외 처리

NDCG@K는 예측 순서의 상위 K개를 평가하며, 분모의 이상적 순위도 같은 K에 맞춰야 한다. 이득이 모두 0이면 분모가 0이 되므로 구현의 처리 규칙을 확인한다. 음의 관련성 점수를 허용하면 일반적으로 기대하는 0과 1 사이 범위를 벗어날 수 있다. 예측 점수가 동점일 때 평균을 낼지 특정 순서를 사용할지도 결과에 영향을 준다.

질의별 평가의 해석

여러 검색 질의를 평가할 때는 질의별 NDCG를 구한 뒤 평균하거나 정한 가중치로 합칠 수 있다. 관련성 판단이 없는 항목을 어떻게 취급했는지도 확인해야 한다. 높은 값이 모든 사용자의 만족이나 결과의 다양성을 보장하는 것은 아니다. 관련성 기준과 후보 집합, K가 다른 실험의 숫자를 조건 확인 없이 직접 비교해서는 안 된다.