문자 인식 다음의 이해
송장 같은 문서에서는 글자를 읽는 것과 문서 전체의 의미를 파악하는 일이 함께 필요하다. 기존 구성은 외부 OCR 엔진이 읽은 내용을 다음 이해 모델로 넘기는 경우가 많았다.
외부 OCR의 의존성 줄이기
Donut은 별도 OCR 엔진에 의존하지 않는 문서 이해 모델을 제시한다. OCR을 사용하는 계산 비용, 언어와 문서 종류의 제약, 뒤 단계로 전달되는 인식 오류를 문제로 다룬다.
단순한 학습 구성
트랜스포머 구조와 교차 엔트로피 사전 학습 목표를 사용한다. 별도 OCR을 없앤다는 말은 글자를 해석할 필요가 없다는 뜻이 아니라 읽기와 이해를 모델 안에서 다루려는 설계다.
합성 자료와 평가
여러 언어와 영역에 맞춰 사전 학습 자료를 만들 수 있도록 합성 자료 생성기도 제공했다. 논문은 여러 문서 이해 과제에서 속도와 정확도를 평가했으며, 이는 시험한 문서와 언어 조건의 결과다.
관련 문서
Pix2Struct / 광학 문자 인식 / 트랜스포머 / 교차 엔트로피 / 시각 질의응답 / Nougat