위키득계정 ↗
기술

SiT 생성 모형

SiT 생성 모형기술
연구 공개
2024년
발표
ECCV 2024
기반 구조
Diffusion Transformer
연결 방식
분포 사이의 보간
SiT는 두 분포를 잇는 보간 틀과 DiT의 신경망 구조를 결합한 생성 모형 계열이다. 학습 시간의 표현과 목적함수 및 보간 경로, 결정적 또는 확률적 표본 추출을 모듈별로 조사한다.

분포를 연결하는 경로

보간 틀을 사용해 두 확률 분포를 더 유연하게 연결한다. DiT 구조를 바탕으로 동적인 수송을 이용하는 생성 모형의 여러 설계 선택을 비교한다.

학습과 표본 추출의 선택

이산 시간과 연속 시간 학습, 목적함수, 보간 경로, 결정적 및 확률적 표본 추출을 나누어 조사했다. 확산 계수는 학습과 별도로 조절할 수 있는 요소로 다룬다.

같은 규모에서의 비교

조건부 ImageNet 256 및 512 해상도에서 모형 구조와 파라미터 수 및 연산량을 맞추어 DiT와 비교했다. 설계 선택이 생성 품질에 주는 효과를 분리해 평가하는 연구다.

관련 문서

변분 확산 모형 / 확산 모델 / FFJORD / 정규화 흐름 변분 추론 / 비전 트랜스포머 / 생성 모델