화면의 구조를 학습하기
웹 화면에는 글자와 영상, 표 같은 다양한 요소가 함께 있다. Pix2Struct는 가린 화면을 단순화된 HTML로 바꾸는 학습을 통해 이런 요소와 구조의 관계를 다룬다.
다양한 시각 언어 정보
이 사전 학습 목적은 문자 인식, 언어 모델링, 영상 설명 같은 신호를 함께 포괄하려는 구성이다. 후속 과제는 사전 학습한 영상 텍스트 모델을 미세 조정해 수행한다.
해상도와 질문의 처리
가변 해상도의 입력 표현을 사용한다. 질문 같은 언어 프롬프트를 별도 문장으로만 넘기는 대신 입력 영상 위에 직접 렌더링하는 결합 방식도 제시했다.
후속 과제의 범위
논문은 문서, 도해, 사용자 인터페이스, 자연 영상의 네 영역에서 아홉 과제를 평가했다. 화면을 HTML로 해석하는 학습 목적과 실제 웹 브라우저를 조작하는 기능은 같은 것이 아니다.
관련 문서
GIT 영상 텍스트 생성 / OFA / 광학 문자 인식 / HTML / 시각 질의응답 / 미세 조정