무표지 자료 없는 기준선
무표지 자료를 사용하지 않는 단순한 기준선의 성능이 충분히 보고되지 않는 경우가 있다는 점을 조사했다. 추가 자료를 사용하는 이득을 평가하려면 같은 조건의 지도 학습 기준선도 함께 비교해야 한다는 문제를 제기한다.
자료 양에 대한 민감도
표지가 있는 자료와 없는 자료의 양이 달라질 때 방법마다 민감도가 다르게 나타났다. 한 가지 표지 수에서의 순위만으로 실제 자료 조건 전반의 성능을 설명하기 어렵다는 평가 관점이다.
다른 클래스의 혼입
무표지 자료에 학습 대상 클래스 밖의 예시가 들어 있으면 성능이 크게 떨어질 수 있음을 확인했다. 원 연구는 이러한 조건을 조사할 수 있도록 통일된 재구현과 평가 플랫폼을 공개했다.