표와 본문에서 근거 찾기
실제 재무 보고서의 사례로 질문과 답을 구성했다. 질문에 필요한 정보가 표의 셀과 본문의 구간에 나뉘어 있을 수 있으므로 두 형식을 함께 살펴야 한다.
수치를 다루는 연산
덧셈과 뺄셈 및 곱셈과 나눗셈뿐 아니라 개수 세기와 비교 및 정렬을 포함한다. 필요한 연산을 조합해 최종 답을 얻는 질문도 다룬다.
TAGOP의 근거 선택
함께 제시한 TAGOP 모델은 시퀀스 태깅으로 관련 표 셀과 텍스트 구간을 추출한다. 선택한 근거의 의미를 해석하고 집계 연산으로 기호적 추론을 수행한다.
근거와 계산의 연결
관련 구간을 잘 찾더라도 적용할 연산을 잘못 고르면 답이 달라질 수 있다. 이 평가는 혼합 형식의 이해와 근거 선택 및 수치 연산이 연결되는 과정을 연구하는 데 사용된다.
관련 문서
FinQA / HybridQA / TAPAS / TAPEX / DROP 독해 평가 / Program of Thoughts