가우스 벡터에서 단어로
가우스 벡터 시퀀스의 잡음을 반복적으로 제거해 단어 벡터로 바꾼다. 이 과정에서 여러 단계의 중간 잠재 표현이 생기며, 토큰의 이산 상태를 직접 교란하는 방식과 구분된다.
중간 표현에 대한 제어
연속적이고 계층적인 중간 표현을 이용해 경사 기반 제어 알고리즘을 적용한다. 문장 전체의 속성을 넘어 구문 구조처럼 세밀한 조건을 생성에 반영하는 것이 목표다.
제어 과제의 평가
원 연구는 여섯 가지 세밀한 제어 과제에서 방법을 평가했다. 제어 조건을 바꿀 때 언어 모형 전체를 다시 훈련하는 대신 생성 경로에 제어를 적용하는 방향을 연구했다.