반복 계산을 없애기
같은 입력에서 같은 결과를 만드는 비싼 계산이 반복되면 이전 결과를 저장해 다시 사용할 수 있다. 메모이제이션은 이런 함수 계산의 재사용을 표현하는 말이다. 캐시는 파일이나 원격 응답 등 더 다양한 자료에도 사용된다. 저장 공간을 쓴다는 공통점만으로 모든 캐시가 같은 유효성 규칙을 갖는 것은 아니다.
키가 입력을 충분히 담는가
결과가 사용자 설정이나 외부 자료의 버전에 따라 달라지는데 숫자 인수만 키에 넣으면 다른 결과를 잘못 재사용할 수 있다. 함수가 실제로 의존하는 정보를 정하고 키 또는 무효화 규칙에 반영해야 한다. 같은 인수라는 표현은 무엇을 같은 계산으로 취급할지 정의한 뒤에 의미가 있다.
시간과 메모리의 교환
이전에 계산한 결과를 계속 보관하면 계산 횟수는 줄지만 자료가 쌓일 수 있다. 입력 종류가 무한히 늘어나는 사용 패턴에서는 크기 제한 없는 캐시가 메모리 문제를 만들 수 있다. 저장할 항목 수와 결과 크기, 재사용 빈도를 함께 측정한다. 적중률 하나가 높다는 사실만으로 전체 비용이 줄었다고 단정하지 않는다.
동시에 같은 요청이 온 경우
캐시 자료구조가 동시 접근에서 일관성을 유지하더라도 아직 결과가 저장되기 전에 같은 계산이 여러 번 시작될 수 있다. 자료구조의 안전성과 계산이 정확히 한 번 실행된다는 보장은 다르다. 중복 계산을 막아야 한다면 진행 중인 계산을 공유하는 별도의 조정이 필요할 수 있다. 단순한 캐시 기능의 범위를 확인한다.
가변 결과와 부수 효과
저장한 결과가 변경 가능한 객체라면 호출자가 바꾼 내용이 다음 호출에 보일 수 있다. 함수의 실행 자체에 필요한 부수 효과가 있다면 결과만 돌려주는 방식도 동작을 바꿀 수 있다. 재사용해도 되는 결과와 매번 수행해야 하는 작업을 구분한다. 작은 입력에서 캐시를 켠 경우와 끈 경우의 의미가 같은지 확인한다.