마스크에서 언어를 복원하기
순방향은 자료를 가리고 역방향은 트랜스포머로 가려진 토큰을 예측한다. 우도의 하한을 최적화하는 생성 방식으로 확률적 추론을 구성한다.
처음부터 학습한 비교
기존 자기회귀 언어 모형을 변환하는 대신 모형을 처음부터 학습한다. 원 연구는 자체 자기회귀 기준 모형과 확산 모형의 규모 확대 효과를 비교했다.
문맥 학습과 지시 수행
일반 과제와 수학 및 코드에서 평가하고, 80억 매개변수 모형의 문맥 내 학습도 조사했다. 지도 미세 조정 이후에는 여러 차례 대화 같은 지시 수행 사례를 제시했다.