통합 비교 환경
학습 자료의 가치 평가 방법은 여러 종류가 있지만 비교 기준이 다르면 결과를 해석하기 어렵다. OpenDataVal은 알고리즘의 적용과 비교를 위한 공통 환경을 구성했다.
자료와 모델 연결
영상과 자연어, 표 형식 자료를 함께 다룬다. 원 논문은 11개 가치 평가 알고리즘의 구현과 scikit-learn 모델을 가져올 수 있는 예측 모델 API를 소개했다.
후속 과제로 가치 평가
데이터 가치의 품질을 살펴보기 위한 네 가지 후속 기계 학습 과제를 제안했다. 값 자체를 출력하는 데 그치지 않고 그 값을 활용한 결과를 비교하는 구성이다.
과제에 따른 차이
원 연구의 비교에서는 모든 과제에 일관되게 가장 좋은 단일 알고리즘이 나타나지 않았다. 실제로 수행할 후속 과제를 기준으로 평가 방법을 살펴볼 필요를 보여준다.