문서를 한 줄로 펼칠 때
양식은 배치가 다양해 토큰을 올바른 순서로 직렬화하기 어렵다. 문서의 공간적 연결이 단순 시퀀스에서 사라지면 정보 추출에 필요한 구조를 놓칠 수 있다.
공간을 반영하는 어텐션
Rich Attention은 양식 속 토큰의 공간 관계를 어텐션 점수 계산에 활용한다. 시퀀스상의 거리만으로 표현하기 어려운 문서 배치의 관계를 모델에 반영하려 한다.
이웃을 모으는 슈퍼 토큰
각 단어에 대해 그래프 합성곱으로 이웃 토큰의 표현을 모아 Super-Token을 만든다. 직렬화 과정에서 손실될 수 있는 지역적 구문 정보를 명시적으로 복원하는 구성이다.
구조 인식의 평가
연구는 CORD, FUNSD, Payment에서 다른 정보 추출 방법과 비교했다. 작은 모델과 적은 사전 학습 자료의 효과도 보고했으며, 결과는 해당 구조와 평가 조건을 기준으로 해석해야 한다.