한 번의 사전 학습
사전분포에서 뽑은 합성 자료로 베이즈 추론을 근사하도록 트랜스포머를 학습한다. 초기 연구의 사전분포는 단순한 구조를 선호하는 다양한 구조적 인과 모형을 포함했다.
예시를 통한 예측
학습 및 시험 표본을 집합 형태의 입력으로 받고 표지가 있는 예시를 문맥으로 활용한다. 새로운 과제에서 추가 모수 갱신 없이 한 번의 순전파로 시험 집합의 예측을 생성한다.
초기 실험의 조건
초기 평가는 학습 표본 천 개 이하, 결측 없는 순수 수치 특징 백 개 이하, 클래스 열 개 이하인 OpenML-CC18 자료 열여덟 개를 포함했다. 이 범위의 결과를 모든 규모와 자료 유형으로 확대해서 해석하지 않는다.
관련 문서
FT-Transformer / TabTransformer / 트랜스포머 / 문맥 내 학습 / 베이즈 추론 / 구조적 인과 모형