댓글의 연결을 학습하기
Reddit의 댓글 사슬에서 대화와 비슷한 교환을 추출해 학습했다. 하나의 응답만 따로 보는 대신 댓글 사이의 연결에서 주어진 문맥과 뒤따르는 반응의 관계를 익히는 자료로 사용했다.
응답 생성용 사전 학습
이름은 대화용 생성 사전 학습 트랜스포머를 뜻한다. Hugging Face의 파이토치 트랜스포머 구현을 확장해 조정 가능한 대화 응답 모델을 제시했다.
문맥과 내용의 평가
연구는 강한 기준 모델과 비교해 관련성 있고 내용이 있으며 문맥에 일관된 응답을 만드는지 평가했다. 사람과 자동 지표를 활용한 주요 비교는 단일 턴 대화 설정에서 이뤄졌다.
공개된 모델과 학습 절차
사전 학습 모델과 학습 파이프라인을 공개해 신경망 응답 생성 연구에 활용하도록 했다. 학습 자료에 여러 턴의 연결이 있다는 점과 개별 실험이 평가한 대화 길이는 구분해서 볼 필요가 있다.
관련 문서
Ubuntu 대화 코퍼스 / DailyDialog / PersonaChat / Wizard of Wikipedia / 언어 모델 / 트랜스포머