이산 표현의 학습
벡터 양자화의 아이디어를 사용해 잠재 표현을 이산 코드로 만든다. 강한 자기회귀 디코더가 잠재 변수를 무시하는 사후 붕괴를 다루면서 학습한 사전과 표현을 결합하는 접근이다.
생성에 사용하는 사전
이산 표현을 자기회귀 사전과 연결해 이미지와 영상 및 음성 생성에서 평가했다. 자료를 압축된 코드로 표현한 뒤 그 코드의 분포를 학습한다.
VQ-VAE-2의 확장
2019년 확장은 여러 규모의 계층과 더 강한 자기회귀 사전을 사용한다. 표본 추출을 픽셀 공간 전체가 아닌 압축한 잠재 공간에서 수행하며, 단순한 피드포워드 인코더와 디코더로 큰 이미지의 생성 품질을 조사했다.