생성 결과의 선호 배우기
같은 텍스트 요청에 여러 이미지가 나올 때 사람이 어떤 결과를 더 선호하는지 학습한다. ImageReward는 이런 선호를 표현하는 보상 모형이다. 단순 픽셀 유사도와 달리 텍스트 기반 생성의 평가를 위한 사람 피드백을 이용한다.
평가와 순위 자료
체계적인 주석 과정에서 평가와 순위 비교를 수집한다. 전문가 비교 자료를 이용해 보상 모형을 학습한다. 모형의 점수는 학습한 선호를 추정하는 값이며 모든 이용자의 취향을 그대로 대신한다고 볼 수는 없다.
보상 피드백 학습
ReFL은 점수 모형에 맞춰 확산 모형을 직접 조정하는 알고리즘이다. 평가기로 결과를 고르는 단계와 생성 모형의 매개변수를 실제로 바꾸는 단계는 다르다. 보상 점수를 높이는 최적화가 다른 모든 품질 기준까지 동시에 높인다는 보장은 아니다.
선호와 조건 충족의 예
설명용 요청이 초록 의자 하나인데 결과에 보기 좋은 초록 의자가 두 개 있다면 미적 선호와 개수 조건이 엇갈릴 수 있다. 점수의 목적을 구분해야 하는 이유다. 실제 평가 문항이나 모델의 순위, 특정 생성 결과를 재현한 예는 아니다.