같은 음절의 다른 구성
한글 음절은 완성된 음절 코드 포인트로 나타내거나 결합 가능한 자모의 조합으로 나타낼 수 있다. 화면에서는 같은 음절처럼 보여도 단순한 코드 포인트 나열 비교는 다른 결과를 낼 수 있다. 검색이나 중복 확인에서 이런 표현 차이를 어떻게 다룰지 정해야 한다. 원래 입력을 보존하는 일과 비교용 형태를 만드는 일은 분리할 수 있다.
조합과 분해
정규화 형식에는 분해를 기준으로 맞추는 방식과 가능한 조합을 적용하는 방식이 있다. 어떤 형식을 고를지는 상호 운용과 데이터 처리 목적에 따라 달라진다. 입력 시점과 검색 시점에 서로 다른 규칙을 쓰면 한쪽만 정규화되어 비교가 일치하지 않을 수 있다. 동일한 계약을 저장과 비교 경로에 적용해야 한다.
호환성을 적용할 때
호환 정규화는 모양이나 용도가 연관된 일부 표현의 차이를 줄일 수 있지만 원래의 형식 차이를 잃을 수도 있다. 문서 원문, 식별자, 검색 키가 모두 같은 요구를 갖는 것은 아니다. 원본을 무조건 덮어쓰는 대신 비교용 값을 별도로 둘지 검토한다. 어떤 차이를 없애도 되는지 목적을 먼저 정한다.
정규화가 하지 않는 일
정규화는 모든 언어의 대소문자 비교나 사전식 정렬을 한 번에 해결하는 기능이 아니다. 시각적으로 닮은 서로 다른 문자도 항상 같아지지 않는다. 따라서 정규화가 적용되었다고 사용자 이름의 혼동이나 모든 검색 누락이 사라진다고 설명하지 않는다. 필요한 비교 규칙을 각각 확인한다.
기존 데이터와의 연결
새 입력에만 정규화를 적용하면 기존 데이터와 다른 규칙이 공존할 수 있다. 기존 식별자나 링크가 어떤 기준으로 만들어졌는지 확인해야 한다. 이미 별개로 저장된 값들이 정규화 뒤 같아질 가능성도 살핀다. 표시 문자열, 검색 키, 고유성 검사의 역할을 나누면 변경의 영향을 더 분명하게 판단할 수 있다.
관련 문서
한글 / 해시 충돌과 동등성