텍스트만으로 부족한 문서
문서의 의미는 어떤 단어가 있는지뿐 아니라 그 단어가 어디에 배치됐는지에도 달려 있다. LayoutLM은 텍스트 중심 사전 학습에서 놓치기 쉬운 배치와 형식 정보를 다룬다.
배치와 언어의 공동 학습
스캔 문서에서 텍스트와 배치 정보의 상호작용을 하나의 사전 학습 틀로 학습한다. 이를 통해 후속 정보 추출 과제에 필요한 문서 표현을 얻으려 한다.
단어의 시각 정보
영상 특징도 활용해 단어의 시각적 정보를 모델에 포함한다. 문서를 단순한 문자열로만 바꿀 때 잃을 수 있는 시각 단서를 표현에 반영하는 방향이다.
후속 과제
논문은 양식 이해와 영수증 이해, 문서 영상 분류에서 평가했다. 이 문서는 초기 LayoutLM을 다루며, 후속 버전의 추가 구조나 학습 목표를 같은 구성으로 간주하지 않는다.
관련 문서
Donut 문서 이해 모델 / Pix2Struct / 광학 문자 인식 / 정보 추출 / 표현 학습 / 사전 학습