단어 겹침의 함정
문장에 쓰인 단어가 비슷하다는 이유만으로 의미까지 같다고 판단하면 문장 안의 관계를 놓칠 수 있다. PAWS는 표면적인 단어 유사성으로 풀기 어려운 의역 판별을 다룬다.
문장 쌍의 구성
통제된 단어 교환과 역번역으로 후보를 만들고 사람이 자연스러움과 의역 여부를 판단했다. 의미가 같은 쌍과 다른 쌍 모두에서 단어 겹침이 높도록 구성했다.
문맥을 이용하는 모델
소개 연구에서는 기존 자료로 학습한 모델들이 PAWS에서 어려움을 보였다. PAWS를 학습에 포함했을 때의 개선도 제시했지만, 멀리 떨어진 문맥을 포착하지 못하는 모델은 여전히 약했다.
구조와 쌍별 비교
이 평가는 단어 수나 공통 어휘만으로 문장 의미를 설명하기 어렵다는 점을 보여 준다. 문장 구조와 문맥을 활용하며 두 문장을 서로 비교하는 능력을 살피는 도구다.
관련 문서
Sentence-BERT / SimCSE / GLUE / MultiNLI / 자연어 처리 / 문맥