가상 비서의 언어 이해
사용자의 발화에서 하려는 일을 구분하고 필요한 정보를 채우는 과제를 다룬다. 자료는 18개 영역을 포함하며 여러 언어에서 대응하는 발화를 제공한다.
전문가의 현지화
영어로 된 SLURP 자료를 유형이 다양한 50개 언어로 현지화했다. 원래 영어를 합쳐 51개 언어로 구성되며 단순히 언어 수만 늘린 자동 번역 자료와 수집 조건이 다르다.
의도와 슬롯의 주석
의도는 요청의 종류를 나타내고 슬롯은 그 요청의 세부 정보를 담는다. 자료는 의도 분류와 슬롯 채우기 및 가상 비서 평가를 위한 레이블을 제공한다.
여러 지표의 비교
논문은 XLM-R과 mT5 모델로 정확 일치와 의도 분류 정확도 및 슬롯 F점수를 평가했다. 요청 전체의 구조와 개별 요소의 정답을 다른 단위로 분석한다.