한 과제 너머의 표현
음성 인식만 잘하는 표현이 화자나 다른 음성 특성도 잘 보존하는지는 별도 문제다. SUPERB는 여러 음성 처리 과제로 공유 표현의 활용 가능성을 체계적으로 비교하려는 접근이다.
표현은 고정하기
자기 지도 모델을 고정한 채 그 위에 과제별 경량 예측기를 학습한다. 큰 모델 전체를 매번 다시 미세 조정하는 평가와는 학습 범위가 다르다.
변경을 줄인 비교
구조 변경과 라벨 자료를 최소화하는 조건에서 후속 과제를 다룬다. 표현 자체의 재사용성을 살피려는 목적이므로 후속 모델의 크기와 학습 조건을 함께 확인해야 한다.
점수의 범위
여러 과제의 점수가 높더라도 실제 서비스의 모든 환경에서 같은 결과가 보장되지는 않는다. 평가 자료의 언어와 음향 조건, 과제별 차이를 살피고 하나의 종합 순위만으로 능력을 단정하지 않는 편이 타당하다.