고정 문장의 한계
사람이 설계한 소수 문장이나 고정 틀에만 의존하면 조합의 다양성과 복잡도가 제한될 수 있다. ConceptMix는 확장 가능하고 조절 가능한 요청 생성으로 구성 능력을 평가한다. 물체와 색, 모양, 공간 관계 같은 개념 범주를 이용한다.
개념을 조합한 요청
물체 하나와 k개의 시각 개념을 무작위로 뽑고 GPT-4o로 생성 요청을 만든다. k를 늘려 여러 조건을 동시에 만족해야 하는 정도를 조절한다. 개념 수만으로 모든 종류의 의미적 어려움이 동일하게 정해지는 것은 아니다.
개념별 자동 검사
시각 개념마다 질문 하나를 생성하고 강한 시각 언어 모형으로 답하게 해 실제 이미지에 조건이 나타났는지 검사한다. 자동 채점과 사람 판단을 비교하는 검증도 수행한다. 요청 문장과 검사 질문이 같은 조건을 담는지 확인하는 일이 중요하다.
조건 수와 성공률의 예
설명용으로 각 조건의 독립 성공률이 0.9라면 세 조건을 모두 맞힐 확률은 0.729, 여섯 조건은 약 0.531이다. 조건이 늘면 전체 성공이 어려워질 수 있다. 실제 개념들이 독립이라는 주장이나 논문 측정값이 아닌 단순 확률 예다.
관련 문서
TIFA / GenEval / T2I-CompBench 플러스플러스 / Q-Bench / MPS 이미지 선호 / PickScore