평가 공간의 분류
언어 모델의 가능한 사용 상황과 바람직한 특성을 분류한 뒤 평가할 범위를 정한다. 폭넓은 평가를 시도하면서도 빠지거나 충분히 다뤄지지 않은 영역을 명시한다.
정확도 밖의 특성
정확도와 보정 및 강건성과 공정성 및 편향과 유해성 및 효율성을 다룬다. 한 점수의 개선이 다른 특성에 어떤 영향을 주는지 함께 비교하는 접근이다.
공통 조건의 비교
초기 연구는 여러 접근 수준의 모델 30개를 같은 핵심 상황과 지표에서 표준화된 조건으로 평가했다. 모델마다 서로 다른 시험만 보는 문제를 줄이려 했다.
핵심 평가와 표적 평가
핵심 시나리오의 다중 지표 평가 외에 추론이나 허위 정보 같은 특정 측면을 위한 평가도 진행했다. 공통 도구와 평가 자료 공개로 후속 분석을 돕는 방향을 제시했다.
관련 문서
LiveBench / MMLU / BIG-bench / RewardBench / 언어 모델 심사자 / 언어 모델