설명에 필요한 글자
장면의 물체만 설명하면 간판이나 상품 이름처럼 중요한 텍스트를 놓칠 수 있다. TextCaps는 읽은 문자를 영상 내용과 연결해 설명하는 문제를 다룬다.
복사와 바꾸어 쓰기의 선택
모델은 어떤 글자가 있는지 알아보는 데 그치지 않고 무엇을 그대로 옮기거나 문맥에 맞게 표현할지 판단해야 한다. 여러 문자 토큰과 시각적 대상 사이의 관계가 이 선택에 영향을 준다.
공간과 의미의 결합
텍스트를 주변 물체와 연결하려면 공간적 관계와 의미 관계를 함께 추론해야 한다. 따라서 인식한 문자열을 순서대로 나열하는 것과 영상의 설명을 만드는 것은 다른 과제다.
기준 모델과 분석
논문은 약 2만 8천 영상의 14만 5천 캡션으로 기존 접근을 적용하고 자동 평가와 사람 평가를 수행했다. 질문에 짧은 답을 주는 TextVQA와 달리 이 과제의 출력은 영상 설명이다.
관련 문서
TextVQA / GIT 영상 텍스트 생성 / BLIP / 광학 문자 인식 / 시각 언어 모델 / 캡션 생성