선형 점수
이진 범주를 -1과 1로 나타내고 점수를 w의 내적 x와 절편 b의 합으로 둔다. 점수의 부호로 범주를 정하며 점수가 0인 경계에서는 별도 규칙이 필요하다. 점수 자체는 정규화된 확률이 아니다. 여러 특징을 사용해도 단일 퍼셉트론의 경계는 선형이다.
한 표본의 갱신
기본 규칙의 한 형태는 y(w의 내적 x+b)가 0 이하인 표본에서 w에 ηyx를, b에 ηy를 더하는 것이다. w=(1,-1), b=0, x=(1,2), y=1이면 점수는 -1이다. η=0.5로 갱신하면 w=(1.5,0), b=0.5가 되고 같은 입력의 점수는 2로 바뀐다. 이 예는 규제 없는 기본 갱신을 설명한다.
선형 표현의 한계
XOR 문제에서 (0,0)과 (1,1)을 음성, (1,0)과 (0,1)을 양성으로 두면 한 직선으로 엄격히 분리할 수 없다. 양성 조건 두 개를 더하면 w1+w2+2b가 양수여야 하지만 음성 조건 두 개를 더하면 같은 식이 음수여야 해 모순이다. 은닉층이나 다른 특징 표현 없이 단순히 학습 횟수만 늘려 이 구조를 해결할 수는 없다.
학습과 평가
표본 순서, 학습률, 규제와 중단 기준이 결과에 영향을 줄 수 있다. 한 표본의 점수를 개선한 갱신이 다른 표본까지 모두 올바르게 만드는 것은 아니다. 표준화 여부를 검토하고 별도 자료에서 분류 성능을 평가한다. 원래 특징의 선형 모형과 여러 층을 결합한 비선형 신경망을 구분해야 한다.