화면의 글자와 문서 의미
과학 지식은 책과 학술지의 PDF에 많이 저장된다. 사람이 화면으로 읽을 수 있어도 수식의 구조 같은 정보가 기계가 이용하기 쉬운 형태로 보존되는 것은 아니다.
마크업으로 변환하기
Nougat은 비전 트랜스포머로 과학 문서를 처리해 마크업 언어로 출력하는 문자 인식 과제를 수행한다. 문서의 시각적 표현과 기계가 처리할 수 있는 텍스트 사이를 연결하려는 방식이다.
학술 문서를 위한 평가
연구진은 새 과학 문서 데이터셋에서 제안한 모델을 평가했다. 모델과 코드를 공개해 과학 문서 인식의 후속 연구에 활용할 수 있도록 했다.
해석할 때의 구분
문서를 마크업으로 변환하는 것은 내용의 과학적 타당성을 검증하는 일과 다르다. 수식이나 문장 구조를 복원하는 결과와 원래 논문의 주장이 맞는지는 별개의 판단이다.
관련 문서
Donut 문서 이해 모델 / Pix2Struct / 광학 문자 인식 / PDF / 마크업 언어 / 비전 트랜스포머