과제별 기준을 반영하기
미적인 매력, 기술적 품질, 문장 정렬은 서로 다른 판단 기준을 가질 수 있다. OmniQuality-R은 여러 차원의 추론을 연속적인 보상으로 바꾸는 통합 구성을 제안한다. 같은 이미지라도 평가 목적에 따라 살펴볼 정보가 달라진다.
추론 자료와 후속 학습
기각 표본추출로 정보성 있는 계획 및 판단 경로를 모아 지도 미세 조정 자료를 만든다. 이어 가우시안 기반 보상으로 연속 점수 예측을 지원하는 그룹 상대 정책 최적화를 적용한다. 자료 선별과 정책 학습의 역할을 구분해야 한다.
변동을 줄이는 장치
표준편차 필터와 엔트로피 게이트로 불안정한 갱신을 억제하고 정책 최적화의 분산을 줄이는 방향이다. 안정적인 학습 과정과 사람의 판단에 맞는 최종 보상은 서로 다른 확인 항목이다. 보상이 연속값이라는 사실만으로 객관적인 정답이 되지는 않는다.
목적에 따른 판단의 독립 예
설명용으로 흐릿한 밤거리 사진이 분위기는 좋지만 글자를 읽기에는 부적합할 수 있다. 미적 평가와 기술적 가독성을 같은 보상 하나로 해석하면 목적이 섞일 수 있다. 실제 평가 자료를 옮기지 않은 과제별 기준의 예다.
관련 문서
Q-SiT / Q-Insight / ImageReward / VisionReward / MPS 이미지 선호 / T2IScoreScore