두 입력을 확장하기
입력 x와 y에 상수항을 포함한 2차 확장을 쓰면 (1,x,y,x²,xy,y²)를 만들 수 있다. x=2, y=-3이면 (1,2,-3,4,-6,9)다. 제곱항은 한 특징의 곡선 효과를, 교차항은 두 특징의 결합을 표현하는 데 사용할 수 있다.
상호작용만 남기기
서로 다른 특징의 곱만 허용하는 설정에서는 x²과 y²를 제외하고 (1,x,y,xy)를 만들 수 있다. 따라서 최대 차수 2라는 숫자만으로 어떤 열이 생성되는지 결정되지 않는다. 상수항을 넣는지와 허용하는 항의 규칙도 확인해야 한다.
특징 수의 증가
입력 특징이 3개인 전체 2차 확장은 상수 1개, 1차항 3개, 제곱항 3개, 서로 다른 두 특징의 곱 3개로 총 10개다. 입력 특징과 차수를 늘리면 생성 열 수가 크게 증가한다. 학습 자료의 표본 수가 그대로여도 모델이 사용할 표현은 많아진다.
선형 모델과 검증
확장 뒤 예측식 a+bx+cx²를 쓰면 입력 x에 대해서는 곡선이지만 계수 a,b,c에 대해서는 선형이다. 항을 많이 만든다고 실제 관계를 더 정확히 찾는 것은 아니며 과적합과 수치 규모 차이가 커질 수 있다. 정칙화와 특징 스케일, 차수 선택은 검증 자료로 평가해야 한다.