개방형 대화의 학습
소셜 미디어의 공개 대화에서 자료를 수집하고 필터링해 끝에서 끝까지 학습했다. 특정 예약 과업만 처리하는 시스템보다 폭넓은 주제로 이어지는 여러 턴 대화를 연구했다.
타당성과 구체성
SSA는 응답이 말이 되는지와 상황에 맞는 구체적인 내용을 담았는지를 함께 평가하는 지표다. 무난하지만 내용이 없는 답변과 문맥에 맞는 답변의 차이를 사람의 판단으로 살피려는 목적을 가진다.
퍼플렉시티와의 관계
논문은 다음 토큰 예측의 퍼플렉시티와 SSA 사이에 강한 상관관계를 보고했다. 관찰된 관계는 해당 학습과 평가 조건의 결과이며, 지표 하나가 모든 대화 능력을 포괄한다는 뜻은 아니다.
학습 모델과 전체 구성
최상의 퍼플렉시티를 보인 기본 모델은 여러 턴 평가에서 SSA 72퍼센트를 기록했다. 필터링과 조정된 디코딩을 포함한 전체 구성은 79퍼센트였으므로 두 결과는 같은 구성의 점수로 섞지 않아야 한다.
관련 문서
DialoGPT / BlendedSkillTalk / PersonaChat / DailyDialog / 언어 모델 / 트랜스포머