문서 이해와 수치 추론
재무 문서의 질문에 답하려면 필요한 정보를 찾는 일과 그 값들로 계산하는 일이 함께 필요할 수 있다. FinQA는 복잡한 다단계 수치 추론을 연구하는 과제로 제안됐다.
여러 표현의 이해
같은 보고서 안에서도 정보는 서로 다른 표현으로 제시될 수 있다. 문서의 의미를 이해하는 것과 수치 사이의 연산 관계를 찾는 것을 함께 다룬다.
추론 과정의 주석
질문과 답은 재무 전문가가 작성했으며 정답에 도달하는 추론 프로그램도 주석으로 제공했다. 최종 숫자만 비교하는 것 외에 어떤 계산 과정으로 답했는지 살펴볼 수 있도록 구성했다.
초기 비교 실험
연구는 사전 학습 모델과 비교 방법을 평가해 전문 지식과 다단계 계산의 어려움을 분석했다. 데이터셋의 평가는 주어진 문서 질문에 대한 추론 능력을 다루며 실제 기업 가치 판단과는 다른 과제다.
관련 문서
TAT-QA / HybridQA / DROP 독해 평가 / Program of Thoughts / PAL 프로그램 보조 추론 / 자연어 처리