문서 형식의 다양성
양식과 영수증은 글자의 내용뿐 아니라 배치도 서로 다르다. DocFormer는 여러 형식과 배치를 가진 문서를 이해하기 위해 텍스트와 영상, 공간 정보를 함께 사용한다.
모달 간 자기 어텐션
세 종류의 특징을 다중 모달 자기 어텐션 층으로 결합한다. 각 특징을 따로 해석하는 데 그치지 않고 문서 안에서 서로 어떤 관계를 갖는지 학습하도록 한다.
공유하는 위치 표현
학습된 공간 임베딩을 모달 사이에서 공유한다. 이를 통해 텍스트 토큰과 시각 토큰이 같은 문서 공간의 어느 부분과 관련되는지 연결하기 쉽게 만든다.
사전 학습과 평가
모달 간 상호작용을 유도하는 과제로 비지도 사전 학습한 뒤 네 데이터셋에서 평가했다. 일부 큰 비교 모델보다 좋은 결과를 보였지만, 매개변수 수만으로 모든 실행 비용을 판단할 수는 없다.
관련 문서
LayoutLM / Donut 문서 이해 모델 / Pix2Struct / 어텐션 / 공간 임베딩 / 트랜스포머