사람 평가도 어려운 이유
대화 평가는 자동 지표와 사람 판단의 차이만 문제가 되는 것은 아니다. 사람에게 어떤 자료를 보여 주고 어떻게 질문하는지에 따라서도 결과가 달라질 수 있다.
전체 대화의 비교
단일 응답끼리 비교하는 대신 여러 턴으로 구성된 두 대화를 보여 준다. 평가자는 각 대화에서 지정된 한 화자에게 집중하고 어느 쪽이 평가 기준에 더 부합하는지 판단한다.
평가 질문의 조정
질문의 표현을 조정해 서로 다른 주석가가 판단하더라도 결과가 견고하도록 했다. 여러 턴에 점수를 매기는 리커트 방식과 단일 턴 쌍별 평가의 문제를 검토하고 대안 절차를 제시했다.
모델끼리 만든 대화
연구는 모델의 자기 대화로 만든 자료에도 평가 절차를 적용했다. 대화 수집 비용과 시간을 줄이면서 비교하는 방법을 탐색했으며, 핵심 판단은 여전히 사람 평가자가 내린다.
관련 문서
BlenderBot / Meena 대화 모델 / BlendedSkillTalk / DailyDialog / 언어 모델 / 자연어 처리