기다리는 동안의 시간
작업이 외부 응답을 기다리는 동안 실제 시간은 흐르지만 그 프로세스가 계속 CPU를 사용하는 것은 아닐 수 있다. 경과 시간이 길고 CPU 시간이 짧다면 입출력 대기나 스케줄링 같은 요인을 살펴볼 단서가 된다. 다만 두 수치만으로 어떤 외부 서비스가 원인인지까지 확정할 수는 없다. 추가 측정으로 원인을 좁혀야 한다.
여러 실행 흐름의 합
CPU 시간을 여러 스레드나 프로세스에 걸쳐 합산하면 측정 범위에 따라 실제 경과 시간보다 큰 값이 나올 수 있다. 동시에 사용한 처리 자원이 합계에 반영되기 때문이다. 한 프로세스만 측정했는지 자식 프로세스까지 포함했는지 확인한다. 사용한 함수가 제공하는 범위를 넘어서 전체 시스템 비용이라고 해석하지 않는다.
최적화 결과의 해석
경과 시간이 줄어도 CPU 사용량이 늘어날 수 있다. 병렬화로 더 많은 자원을 사용해 기다리는 시간을 줄이는 경우가 한 예다. 반대로 CPU 사용량이 줄었다고 사용자 응답이 빨라졌다는 보장도 없다. 목표가 응답 시간인지 처리량인지 자원 비용인지 정해야 변경의 효과를 판단할 수 있다.
Python 측정 함수의 예
Python의 perf_counter는 짧은 경과 시간 측정에 쓰이며 대기 중 흐른 시간도 포함한다. process_time은 현재 프로세스가 사용한 사용자 및 시스템 CPU 시간을 측정하고 잠든 동안의 시간은 포함하지 않는다. 함수를 고를 때 반환 단위만 보지 말고 무엇을 포함하고 제외하는지 확인한다. 같은 이름의 개념도 도구별 범위를 살핀다.
실험 조건 맞추기
입력 데이터, 반복 횟수, 캐시 상태, 백그라운드 작업이 다른 두 실행을 수치만 비교하면 잘못된 결론을 낼 수 있다. 경과 시간과 CPU 시간을 함께 기록하더라도 조건을 통제하는 기본 원칙은 필요하다. 반복 측정의 분포를 보고 차이가 일관적인지도 확인한다. 지표가 정교하다고 실험 설계의 문제를 자동으로 해결하지는 않는다.