특징 사이의 문맥
각 범주형 특징을 따로 표현하는 데서 나아가 트랜스포머 층으로 문맥적 임베딩을 만든다. 다른 특징과의 관계를 반영한 표현으로 예측 정확도를 높이는 접근이다.
결측과 잡음의 평가
원 연구는 열다섯 공개 자료에서 신경망과 트리 앙상블을 비교했다. 학습한 문맥 임베딩이 특징의 결측과 잡음에 얼마나 강건한지도 평가했다.
반지도 학습 구성
표지가 없는 자료에서 문맥 임베딩을 먼저 배우는 비지도 사전 학습 절차를 제안했다. 연구는 이 구성을 반지도 학습 설정에서 평가하고 지도 학습만 사용하는 방법들과 비교했다.
관련 문서
TabNet / NODE 표 자료 모델 / NODE-GAM / 트랜스포머 / 자기 어텐션 / 반지도 학습