한 숫자의 판단 근거
생성 결과의 전체 점수만 보면 어느 부분이 선호를 이끌었는지 알기 어려울 수 있다. VisionReward는 세밀한 평가를 계층적으로 구성해 사람의 시각 선호를 다룬다. 이미지와 동영상 생성 모두를 대상으로 하는 틀이다.
선형 가중의 해석
평가 항목들을 선형 가중으로 결합해 선호 학습의 해석 가능성을 높인다. 어떤 항목과 가중치를 사용했는지에 따라 전체 판단이 달라질 수 있다. 선형 결합을 쓴다는 사실만으로 편향이 사라지거나 각 항목의 예측이 항상 옳다는 뜻은 아니다.
여러 차원의 일관성
생성 모형의 선호 최적화에서 VisionReward를 보상 모형으로 사용하는 다차원 일관성 전략을 제시한다. 평가를 수행하는 일과 그 평가에 맞춰 생성 과정을 바꾸는 일을 구분할 필요가 있다. 한 차원만 개선되고 다른 차원이 나빠지는 관계도 살펴야 한다.
가중 합의 독립 예
설명용 두 항목의 점수가 8과 4이고 가중치가 0.25와 0.75라면 합은 5다. 가중치를 반대로 두면 7이다. 항목 점수가 같아도 결합 기준이 달라지면 전체가 바뀐다는 예이며 실제 평가 항목이나 모델 가중치, 점수 범위를 나타내지는 않는다.
관련 문서
HPS v2 / MPS 이미지 선호 / ImageReward / PickScore / Q-Align / DOVER