늘어나는 서비스의 구조
가상 비서는 기능이 겹치거나 학습 자료가 거의 없는 새 서비스를 다룰 수 있어야 한다. 기존의 소수 영역과 고정된 온톨로지를 전제한 평가로는 이런 문제를 다루기 어려울 수 있다.
설명을 입력으로 제공하기
의도와 슬롯의 자연어 설명을 입력으로 주고 그때 제공된 집합에 대해 예측한다. 구조를 모델에 항상 고정해 두는 대신 동적으로 주어진 서비스 설명을 활용하는 방식이다.
여러 대화 과제
언어 이해와 슬롯 채우기 및 대화 상태 추적과 응답 생성을 평가한다. 서비스가 달라져도 같은 대화 시스템이 적용될 수 있는지 살피도록 구성됐다.
새 서비스로의 전이
연구는 새 API로 제로샷 일반화하는 대화 상태 추적 모델을 제시했다. 일반 설정에서의 성능과 학습 자료가 없는 새 서비스의 조건을 나눠 평가했다.