우도 차이를 줄이는 학습
확산 언어 모형과 자기회귀 언어 모형 사이의 우도 차이를 줄이는 목표에서 출발한다. 최대우도 학습에 필요한 방법을 개선하고 계산량을 늘리는 효과도 검토했다.
계산 최적 규모의 분석
모형 규모와 계산량에 따른 변화 법칙을 조사했다. 원 연구는 확산 모형에 적합한 계산 배분이 자기회귀 모형의 배분과 크게 다를 수 있다고 보고했다.
Plaid 1B의 평가
개선한 학습과 규모 분석을 바탕으로 Plaid 1B를 제시했다. 작은 GPT-2 기준 모형과 우도를 비교하고 무조건부 생성 및 제로샷 제어 생성도 평가했다.
관련 문서
SSD-LM / Diffusion-LM / GENIE 확산 언어 모형 / MDLM / SEDD / 변분 확산 모형