위키득계정 ↗
기술

성능 비교 실험 설계

성능 비교 실험 설계기술
비교 단위
같은 작업량과 입력
주요 기록
시간과 반복별 변동
준비 단계
초기화와 워밍업 구분
결과 해석
개선 폭과 측정 잡음 비교
성능 비교는 같은 작업을 수행하는 두 구현을 같은 조건에서 반복 측정하고 분포를 비교하는 과정이다. 준비 비용, 측정 단위와 입력 범위를 명확히 해야 한 번의 빠른 실행을 일반적인 개선으로 오해하지 않을 수 있다.

무엇이 빨라졌는지 정의하기

함수 호출 하나의 시간을 줄이는 실험과 요청 전체의 응답 시간을 줄이는 실험은 범위가 다르다. 먼저 결과가 같은 작업인지 확인하고 단위를 정한다. 일부 계산을 생략하거나 오류 처리를 빼서 빨라진 구현은 동등한 비교가 아닐 수 있다. 성능 수치보다 먼저 기능 결과와 수행 범위를 맞추는 이유다.

준비 비용을 포함할지 정하기

파일을 여는 비용이나 자료를 만드는 비용을 포함하면 실제 작업 전체에 가까운 수치가 된다. 반대로 준비를 마친 뒤 반복되는 연산만 측정하면 특정 경로를 분석하기 쉽다. 어느 쪽이 항상 옳은 것은 아니다. 초기 실행이 중요한 제품과 지속적인 처리가 중요한 제품이 다를 수 있으므로 측정 목적에 맞게 구간을 정하고 명시한다.

반복과 실행 순서

한 번의 실행은 다른 작업이나 시스템 상태의 영향을 크게 받을 수 있다. 반복 결과를 남기고 변동 폭을 함께 본다. A를 모두 측정한 뒤 B를 측정하는 방식에서는 시간에 따라 바뀐 환경이 결과에 섞일 수 있다. Google Benchmark는 반복과 워밍업, 무작위 교차 실행 같은 기능을 제공한다. 도구 설정은 실험의 조건으로 함께 기록한다.

시간의 의미

경과 시간은 시작에서 완료까지의 시간이고 CPU 시간은 CPU 사용을 집계한 시간이다. 기다리는 작업이나 여러 스레드를 쓰는 작업에서는 두 수치의 관계가 단순하지 않다. 어느 값을 줄이려는지 정한 뒤 같은 기준으로 비교한다. 한 결과는 경과 시간이고 다른 결과는 CPU 시간인데 열 이름만 시간으로 맞추면 잘못된 판단을 하기 쉽다.

입력 크기를 바꾸어 보기

작은 입력에서는 준비 비용이 대부분일 수 있고 큰 입력에서는 반복 계산이나 메모리 사용이 지배적일 수 있다. 하나의 크기에서 이긴 결과를 모든 범위에 적용하지 않는다. 실제 사용에 자주 나오는 크기와 경계에 가까운 크기를 나누어 측정한다. 특정 입력에만 맞춘 개선인지 일반적인 변화인지 확인할 수 있다.

차이를 받아들일 기준

변경 전후의 차이가 반복 실행의 흔들림보다 작은 경우에는 개선이라고 단정하기 어렵다. 평균 하나뿐 아니라 반복별 원자료와 중앙값 등 해석에 필요한 정보를 남긴다. 성능을 얻는 대신 메모리가 늘거나 드문 지연이 커지지 않았는지도 살핀다. 최종 판단은 측정 범위와 제품에서 중요하게 보는 지표를 연결해 내려야 한다.

관련 문서

알고리즘 / 컴파일러 / 메모리 사용량 증가 진단