문서에서 벡터로
어휘 목록을 먼저 정하고 각 단어에 열 하나를 배정한다. 문서 하나는 행 하나가 되고 그 안에서 단어가 나온 횟수를 해당 열에 적는다. 여러 문서는 같은 어휘 순서를 사용해야 서로 비교할 수 있다. 어휘에 없는 단어를 어떻게 다룰지도 변환 규칙의 일부다.
세 단어의 예
어휘 순서를 바다, 여행, 기록으로 고정하고 공백으로 단어를 나눈다고 하자. 문서 바다 여행 바다는 (2,1,0), 기록 여행은 (0,1,1)이다. 여행 바다 바다는 첫 문서와 순서가 다르지만 같은 벡터가 된다. 횟수 대신 출현 여부만 남기면 첫 문서는 (1,1,0)이 된다.
표현의 설계
단어를 나누는 방식과 대소문자 처리, 지나치게 흔하거나 드문 단어를 제외하는 기준이 어휘를 바꾼다. 한국어에서는 공백 단위와 형태소 단위가 서로 다른 특징을 만든다. 연속한 두 단어를 하나의 특징으로 넣으면 일부 순서 정보를 보존할 수 있지만 기본 단어별 횟수 표현과 구별해야 한다.
크기와 의미
어휘가 많아도 문서 하나에 나타나는 단어는 일부인 경우가 많아 0이 아닌 값 위주로 저장하는 희소 표현이 적합할 수 있다. 횟수가 크다는 사실이 의미상 더 중요하다는 보장은 없다. TF-IDF는 이런 횟수에 문서 집합의 희소성을 반영하는 별도 가중치다. 문서의 문맥이나 동의어 관계를 자동으로 이해하는 표현은 아니다.