목적에 따라 다른 품질
응답의 관련성과 구체성 및 공감 같은 특성은 응용에 따라 중요도가 다르다. 하나의 고정된 평가 방식만으로는 이런 요구를 모두 반영하기 어렵다는 문제에서 출발했다.
세 그룹으로 정리하기
품질 특성을 이해 가능성과 타당성 및 호감도의 세 그룹으로 묶는다. 여기서 호감도는 단순한 감정 선호만이 아니라 해당 과제에 필수적인 여러 특성을 묶는 역할을 한다.
세부 지표의 결합
각 측면을 측정하는 지표를 결합해 전체 점수를 얻는 방식을 제안했다. 특정 참조 문장과의 단어 중복이나 의미 유사성만으로 포착하기 어려운 품질도 평가 구성에 포함하려는 목적이다.
구성 가능성의 검증
논문은 사람 판단과의 상관관계를 평가하고 다른 특성과 지표를 선택할 수 있는지 살폈다. 점수를 해석할 때는 어떤 과제를 위해 어떤 품질을 결합했는지 함께 확인해야 한다.
관련 문서
USR 대화 평가 / FED 대화 평가 / ACUTE-EVAL / BERTScore / BlendedSkillTalk / 언어 모델