인식과 생성을 연결하기
기존 문자 인식은 영상 처리에 합성곱 신경망을 쓰고 글자 생성에 순환 신경망을 쓰는 경우가 많았다. TrOCR은 영상 이해와 텍스트 생성에 모두 트랜스포머를 활용한다.
사전 학습 모델의 활용
사전 학습된 영상 모델과 텍스트 모델을 연결해 끝에서 끝까지 문자 인식을 수행한다. 출력은 개별 문자만을 기준으로 하지 않고 워드피스 단위의 텍스트 생성으로 다룬다.
합성 자료에서 실제 주석으로
대규모 합성 자료로 사전 학습하고 사람이 표지한 자료로 미세 조정할 수 있다. 두 단계는 서로 다른 역할을 하므로 합성 자료만으로 모든 평가를 수행한 것으로 해석하면 안 된다.
인식 대상의 범위
논문은 인쇄체, 손글씨, 장면 속 문자의 인식을 평가했다. 글자를 읽는 문자 인식 능력과 문서 전체에서 항목의 의미나 관계를 추출하는 문서 이해 능력은 구분된다.
관련 문서
광학 문자 인식 / Donut 문서 이해 모델 / Nougat / 트랜스포머 / 워드피스 / 미세 조정