공통 표현의 기준
텍스트 내용과 문서 영상의 공간적 대응을 활용해 영상과 텍스트, 배치를 통합한다. 서로 다른 문서 과제의 입력과 출력 형식을 함께 다루기 위한 표현이다.
프롬프트 기반의 생성
Vision-Text-Layout Transformer로 사전 학습과 후속 과제를 프롬프트 기반 시퀀스 생성 형식에 넣는다. 문서 이해만이 아니라 문서 생성도 같은 틀에서 다룬다.
두 종류의 학습 자료
큰 규모의 표지 없는 문서에는 자기 지도 목적을 적용하고, 다양한 표지 자료도 함께 학습한다. 따라서 문서에 사람 주석이 전혀 필요 없는 모델이라고 설명하는 것은 정확하지 않다.
문서 영상의 생성과 평가
텍스트와 배치에서 문서 영상을 생성하도록 마스크 영상 복원도 학습한다. 논문은 재무 보고서와 학술 문서, 웹사이트 등에서 여덟 문서 AI 과제를 평가하고 문서 편집 사례를 제시했다.
관련 문서
DocFormer / LayoutLM / Donut 문서 이해 모델 / Pix2Struct / OFA / 자기 지도 학습