입력 표현의 선택
같은 예측 본체라도 수치 특징을 어떻게 벡터화하느냐에 따라 학습이 달라질 수 있다. 연구는 수치 임베딩을 표 자료 심층 학습에서 충분히 탐색되지 않은 설계 요소로 제시했다.
두 가지 구성
하나는 스칼라 값을 구간별로 선형 인코딩하는 방법이다. 다른 하나는 주기적 활성화를 이용해 수치 표현을 구성하며 기존 선형 층과 ReLU 기반 임베딩과 비교했다.
본체를 넘는 효과
원 연구에서는 트랜스포머뿐 아니라 여러 본체가 수치 임베딩의 이점을 얻을 수 있음을 평가했다. 적절한 임베딩을 사용한 단순 MLP형 모델도 실험에서 어텐션 기반 구조와 경쟁할 수 있었다.
관련 문서
FT-Transformer / TabTransformer / 다층 퍼셉트론 / 임베딩 / ReLU / 특징 공학