위키득계정 ↗
과학

백분위수와 평균 응답 시간

백분위수와 평균 응답 시간과학
평균
응답 시간 합계 / 요청 수
백분위수
정렬한 응답 시간의 위치
대표 표기
p50과 p95 및 p99
주의점
서버별 백분위수의 단순평균
평균 응답 시간은 모든 관측의 합계를 건수로 나눈 값이고 백분위수는 응답 시간을 정렬했을 때 특정 비율의 위치를 나타내는 값이다. 느린 일부 요청의 경험은 평균 하나만으로 드러나지 않을 수 있다.

빠른 요청과 느린 요청

가상의 요청 100개 가운데 99개가 10밀리초이고 한 개가 1000밀리초라면 평균은 19.9밀리초다. 평균이 20밀리초보다 작다고 모든 요청이 그 안에 끝났다는 뜻은 아니다. 중앙에 가까운 경험과 가장 느린 일부의 경험을 구분해야 한다. 평균은 총량을 요약하지만 개별 사용자의 긴 기다림을 모두 설명하지 않는다.

백분위수의 해석

p95는 정렬된 자료에서 95퍼센트 위치에 해당하는 응답 시간을 나타내는 지표다. 모든 요청이 그 시간 안에 끝난다는 상한은 아니다. 작은 표본에서는 백분위수 계산 방식에 따라 값이 달라질 수 있고 관측 구간이 달라도 다른 결과가 나온다. 백분위수 이름뿐 아니라 요청 수와 계산 방식을 함께 확인한다.

여러 서버를 합칠 때

서버별 p95를 단순평균한 값은 일반적으로 전체 요청의 p95가 아니다. 각 서버의 요청 수와 분포가 다를 수 있기 때문이다. 전체 백분위수를 얻으려면 원래 관측이나 적절히 합칠 수 있는 분포 표현이 필요하다. 집계된 백분위수 몇 개만으로는 사라진 분포 정보를 되살릴 수 없다는 점을 주의한다.

서비스 상태 판단

평균과 상위 백분위수를 함께 보고 실패 요청이 계산에 포함되는지도 확인한다. 빠르게 실패한 요청이 많아져 평균이 좋아 보이는 상황도 생각할 수 있다. 응답 시간과 성공률, 관측 건수를 같은 범위에서 비교해야 한다. 어떤 지표 하나가 내려갔다는 사실보다 실제로 필요한 사용자 경험이 나아졌는지를 기준으로 판단한다.

관련 문서

통계학 / 중앙값 / 평균과 중앙값 비교 / 성능 비교 실험 설계