질의와 키와 값
하나의 질의 q에 여러 키 kᵢ가 대응할 때 점수 sᵢ=qᵀkᵢ를 계산한다. 가중치 aᵢ=exp(sᵢ)/Σexp(sⱼ)를 만든 뒤 출력은 Σaᵢvᵢ다. 키는 가중치를 정하는 데, 값은 실제로 합치는 정보에 쓰인다. 둘이 반드시 같은 벡터일 필요는 없다.
두 값을 결합하기
일차원 질의가 1이고 두 키가 0과 ln 3이면 점수는 0과 ln 3이다. 소프트맥스 가중치는 1/4과 3/4이다. 값이 각각 2와 10이면 출력은 8이다. 가장 높은 점수의 값 10만 선택하는 최댓값 연산과는 다르다.
형태와 마스크
질의가 T개이고 참조할 키가 S개라면 점수 표는 T×S 형태다. 값 벡터 차원이 d라면 출력은 T×d다. 마스크로 제외할 위치를 정할 수 있다. 인과 마스크는 순서상 미래 위치를 참조하지 못하게 하는 규칙이며, 모든 위치가 제외된 경우의 처리는 따로 확인해야 한다.
가중치의 해석
드롭아웃 등을 생략한 기본 소프트맥스 가중치는 음수가 아니고 합이 1이다. 그러나 큰 가중치가 곧 사람에게 중요한 근거나 인과적 설명이라는 뜻은 아니다. 또한 내적 점수에 차원에 따른 배율을 적용하는 변형과 배율 없는 기본형을 구분해야 한다.