위키득계정 ↗
기술

AutoInt

AutoInt기술
연구 공개
2018년
발표
CIKM 2019
핵심 구성
잔차 연결의 다중 헤드 자기 어텐션
특징 범위
수치형 및 범주형
AutoInt는 다중 헤드 자기 어텐션으로 특징 상호작용을 자동 학습하는 클릭률 예측 모델이다. 수치형과 범주형 특징을 같은 저차원 공간으로 옮겨 조합한다.

공통 공간의 특징

클릭률 자료에는 희소하고 고차원인 특징이 많으며 조합을 수작업으로 열거하기 어렵다. AutoInt는 서로 다른 특징을 저차원 표현으로 바꿔 상호작용을 학습하는 출발점으로 삼는다.

어텐션 층의 결합

잔차 연결을 포함한 다중 헤드 자기 어텐션으로 특징 간 관계를 명시적으로 모델링한다. 여러 층을 쌓아 서로 다른 차수의 특징 조합을 표현하는 종단 간 구조다.

예측과 해석의 평가

원 연구는 네 가지 실제 자료에서 예측 성능과 효율을 평가했다. 특징 조합을 학습하는 방식의 해석 가능성도 함께 조사했으며 결과는 해당 클릭률 예측 실험의 관찰이다.

관련 문서

DeepFM / DCN 특징 교차 모델 / 자기 어텐션 / 다중 헤드 어텐션 / 잔차 연결 / 클릭률