특징의 토큰화
Feature Tokenizer는 각 수치 특징에 벡터를 곱하고 편향을 더해 임베딩을 만든다. 범주형 특징은 조회 표를 이용하며 이 임베딩들을 모아 트랜스포머에 전달한다.
예측의 구성
특징 토큰에 분류 토큰을 추가하고 여러 트랜스포머 층을 적용한다. 최종 분류 토큰의 표현을 예측에 사용하며 각 층은 한 입력의 특징 수준에서 작동한다.
같은 조건의 모델 비교
원 연구는 ResNet형 기준선과 FT-Transformer 등을 같은 학습 및 조정 절차로 비교했다. 기울기 부스팅과의 비교에서는 모든 문제에 보편적으로 우세한 방법이 없음을 결론 내렸다. 자기 어텐션의 비용은 특징 수가 커질 때 계산 부담이 된다.
관련 문서
TabTransformer / TabNet / NODE 표 자료 모델 / 트랜스포머 / 기울기 부스팅 / 잔차 연결