생성 모델에서 얻는 개념
다양한 문장으로 영상을 생성하는 확산 모델의 내부 표현에는 언어 개념과 관련된 정보가 담길 수 있다. ODISE는 생성 자체가 아니라 그 표현을 분할에 사용하는 방향을 제시한다.
판별 모델과의 결합
영상 텍스트 판별 모델은 언어로 지정한 범주를 인식하는 데 활용된다. 연구는 생성 모델과 판별 모델의 동결된 내부 표현을 함께 사용해 분할을 수행한다.
개방 어휘의 평가
학습에 사용한 범주를 넘어 언어로 표현되는 개념의 분할을 다룬다. 파놉틱 분할과 의미 분할을 모두 평가했으며, 논문에는 COCO에서 학습해 ADE20K로 평가한 설정이 포함된다.
학습 조건의 구분
분할 단계에서 COCO만 사용한 결과와 기반 확산·판별 모델의 사전 학습은 구분해야 한다. 표현을 고정한다는 말은 두 기반 모델이 미리 학습한 지식을 사용하지 않는다는 뜻이 아니다.
관련 문서
SAN 개방 어휘 분할 / X-Decoder / CLIP / 확산 모델 / 파놉틱 분할 / 전이 학습