두 방향의 어텐션
표 자료에는 한 표본의 여러 특징과 여러 표본으로 이루어진 행 구조가 함께 있다. SAINT는 행과 열에 어텐션을 적용하고 개선한 임베딩 방식을 포함하는 혼합 신경망 접근을 제안했다.
표지가 부족한 조건
표지가 부족할 때 활용할 대조적 자기 지도 사전 학습 방법도 연구했다. 예측 구조만 바꾸는 데서 나아가 표 자료의 사전 학습을 함께 평가하는 구성이다.
벤치마크 비교
원 연구는 여러 벤치마크에서 이전 심층 학습 모델과 기울기 부스팅을 비교했다. XGBoost, CatBoost, LightGBM 등이 비교에 포함됐으며 보고한 성능은 해당 벤치마크의 평균에 관한 결과다.
관련 문서
FT-Transformer / TabTransformer / TabNet / 대조 학습 / 자기 지도 학습 / 기울기 부스팅