표 이해를 위한 공통 표현
표 이해의 각 과제마다 특징과 모델을 별도로 설계하는 대신 공통 표현을 먼저 학습한다. 관계형 표에서 비지도 방식으로 문맥화된 표현을 얻고 과제별 미세 조정에 사용한다.
행과 열의 구조 반영
표는 단순한 단어의 나열과 달리 행과 열로 정보가 연결된다. TURL은 이 구조를 모델링하도록 설계한 트랜스포머 인코더를 사용한다.
가려진 개체 복원하기
Masked Entity Recovery는 표에 나타나는 개체를 가리고 이를 복원하는 사전 학습 목표다. 레이블이 없는 표에서 의미와 지식 정보를 학습하도록 했다.
여러 표 이해 과제
연구는 관계 추출과 빈 셀 채우기 등을 포함한 여섯 과제로 평가했다. 사전 학습한 표현을 서로 다른 표 이해 작업에 적용하는 일반화 가능성을 살폈다.