개별 능력에서 통합으로
지식이 풍부하거나 공감하는 응답을 따로 잘 만드는 것만으로 자연스러운 대화 전체가 보장되지는 않는다. 연구는 여러 능력을 끊김 없이 섞어 사용하는 문제에 초점을 맞췄다.
모델을 결합하는 방법
개별 능력으로 학습한 모델을 단순히 모으는 방식부터 여러 능력을 학습 전반에서 다루는 다중 과제 학습까지 비교했다. 추가 학습의 정도와 모델 구성에 따라 통합 방법이 달라진다.
새 대화 자료의 역할
BlendedSkillTalk는 이런 능력들이 실제 대화의 흐름에서 어떻게 어우러지는지 분석하도록 마련됐다. 한 종류의 능력만 평가하는 자료와 달리 상황에 맞는 능력 선택과 연결을 살핀다.
선택 편향과 미세 조정
논문은 여러 개별 과제를 함께 학습하는 방식이 단일 능력 학습보다 통합 대화에서 유리한 실험 결과를 보고했다. 통합형과 두 단계형 모두 능력 선택의 불필요한 편향을 줄이거나 새 과제로 미세 조정하는 구성이 중요했다.
관련 문서
EmpatheticDialogues / PersonaChat / Wizard of Wikipedia / DailyDialog / MultiWOZ / 언어 모델