평가 지표도 검증하기
생성 모형을 비교하려면 점수가 실제 오류 차이를 반영하는지 알아야 한다. 사람 평가와 어느 정도 상관한다는 결과만으로 모든 어려운 사례에서 올바른 판단을 한다고 볼 수 없다. TS2는 평가 지표 자체를 체계적으로 비교하는 문제를 다룬다.
의미 오류의 그래프
하나의 문장에 대해 의미 오류가 점차 늘어나는 이미지 집합을 구성한다. 지표가 객관적인 오류 수에 맞추어 이미지를 정렬하고 서로 다른 오류 노드를 구별하는지 본다. 단순히 생성 결과 전체에 평균 점수를 매기는 평가와 목적이 다르다.
복잡한 평가기의 해석
시각 언어 모형을 이용한 평가기가 더 단순한 특징 기반 지표보다 언제나 낫다고 가정해서는 안 된다. 어떤 오류와 자료에서 비교했는지, 기대 순서와 점수 차이를 제대로 표현하는지 확인해야 한다. 지표 이름이나 모형 규모만으로 신뢰도를 정할 수 없다.
순서와 간격의 독립 계산
설명용으로 오류가 0개, 1개, 2개인 이미지에 0.90, 0.89, 0.88점을 주면 순서는 맞는다. 하지만 반복 측정 변동이 크면 인접 결과를 뚜렷하게 구별하지 못할 수 있다. 실제 연구의 점수가 아니라 정렬과 분리의 차이를 설명하는 예다.