문자열 이상의 정보
같은 낱말도 문장 안의 역할과 앞뒤 맥락에 따라 뜻이 달라진다. 생략된 주어, 여러 뜻을 가진 표현, 높임과 비유 등은 단순히 사전의 뜻을 이어 붙이는 방식만으로 처리하기 어렵다.
한국어에서는 조사와 어미, 띄어쓰기의 변동 등도 분석에 영향을 준다. 어떤 단위로 입력을 나누고 표현하는지는 모델과 과제의 설계에 따라 달라진다.
분석과 생성
문서가 어떤 주제에 속하는지 판단하는 일과 새로운 설명을 작성하는 일은 서로 다른 출력 목표를 갖는다. 이름과 날짜 같은 정보를 찾아 구조화하는 과제, 질문에 맞는 문서를 검색하는 과제도 자연어 처리의 일부다.
생성 결과가 자연스럽다는 사실과 그 내용이 사실이라는 주장은 별개다. 문장 수준의 유창성만으로 사실 정확성이나 근거의 적절성을 평가할 수 없다.
언어를 숫자로 표현하기
컴퓨터에서 언어를 처리하려면 문자나 토큰을 수치 표현과 연결해야 한다. 임베딩은 단어나 문장 등의 표현을 벡터로 나타내는 방법이다. 그 표현은 학습 자료와 목표에 따라 다른 관계를 담을 수 있다.
통계적 모델과 신경망 외에도 규칙 기반 처리가 쓰인다. 여러 방법을 조합할 수 있으며, 모든 자연어 처리 시스템이 대규모 언어 모델인 것은 아니다.
실제 사용에서의 평가
번역과 요약에서는 원문 의미의 보존과 누락을, 검색에서는 관련성과 빠짐을 살펴야 한다. 언어와 분야가 바뀌면 성능도 달라질 수 있다. 정답 하나로 표현하기 어려운 과제에서는 여러 기준과 사람의 검토가 필요하다.