위키득계정 ↗
기술

티 다이제스트

티 다이제스트기술
영어
t-digest
입력
수치 관측값
주요 질의
분위수와 분포상 위치
특성
공간과 정확도의 절충
티 다이제스트는 수치 데이터의 분위수와 분포상 위치를 작은 요약으로 추정하는 자료구조다. 계속 들어오는 관측값을 전부 보관하고 정렬하는 대신 요약을 갱신하여 중앙값이나 높은 백분위수 등을 근사한다.

평균으로 보이지 않는 구간

요청 처리 시간이 대부분 짧아도 일부 요청이 매우 오래 걸릴 수 있다. 평균 하나만 보면 이런 분포의 차이를 놓치기 쉽다. 티 다이제스트는 예를 들어 95번째 백분위수처럼 분포의 특정 위치에 해당하는 값을 추정하는 데 활용할 수 있다.

두 방향의 질문

분위수 질의는 주어진 비율에 대응하는 관측값의 경계를 묻는다. 반대로 값 하나를 주고 그보다 작은 관측값이 어느 정도인지 추정할 수도 있다. 같은 값이 반복될 때의 경계 처리와 보간 방식에 따라 세부 결과가 달라질 수 있으므로 작은 표본에서는 정의를 함께 살펴야 한다.

정확도 조절

요약의 크기를 늘려 정확도를 높이는 방향으로 설정할 수 있다. 모든 관측값을 그대로 저장하는 정확한 정렬 목록과는 다르며, 동일한 정확도 설정이 모든 데이터 분포와 모든 분위수에서 같은 절대 오차를 보장하는 것은 아니다. 실제로 필요한 분위수 구간을 기준으로 결과를 검토한다.

요약의 병합

여러 구간이나 여러 장치에서 만든 호환 요약을 병합하여 전체 분포를 추정할 수 있다. 각 구간의 백분위수를 산술평균하는 방식과는 다르다. 관측값의 단위와 집계 범위를 맞춰야 하며, 같은 관측을 여러 요약에 넣고 다시 합치면 그만큼 중복 집계될 수 있다.

관련 문서

분위수 / 백분위수 / 중앙값 / 평균 / 자료구조 / 확률 분포 / 데이터 스트림 / 알고리즘