로그만으로 부족한 경우
오류 메시지에 함수 이름이 적혀 있어도 같은 현상을 다시 만들 수 있는 것은 아니다. 입력에 따라 다른 경로로 실행되거나 환경 설정이 결과에 영향을 줄 수 있기 때문이다. 실패를 기록할 때는 관찰한 증상과 그때 수행한 작업을 함께 남긴다. 로그는 무슨 일이 보였는지 설명하고 재현 자료는 어떤 조건에서 다시 확인할지 설명한다.
빌드를 구분하기
같은 버전 이름을 사용해도 빌드 옵션이나 의존성이 다르면 실행 파일이 달라질 수 있다. 조사할 실행 파일을 정확히 식별하고 소스 변경과 연결한다. 나중에 다시 만든 파일을 원래 실패한 파일로 취급하지 않는다. 수정 전후를 비교할 때도 각각 어느 산출물을 실행했는지 분명해야 코드 변화와 환경 변화를 구분할 수 있다.
주소를 소스 위치로 연결하기
실행 주소만 있는 기록은 함수나 파일 위치를 알아내는 과정이 필요하다. llvm-symbolizer는 입력된 주소와 대상 파일을 이용해 대응하는 소스 위치를 출력한다. 분석에는 대상과 맞는 심벌 정보가 중요하다. 다른 빌드의 자료로 그럴듯한 이름이 나왔다고 올바른 위치라고 단정하면 조사 방향이 틀어질 수 있다.
사실과 해석을 분리하기
기록에는 실제로 나온 오류와 실행 조건을 먼저 남기고 원인 추정은 별도로 쓴다. 예를 들어 종료 요청 직후 실패했다는 관찰과 해제 후 접근이 원인이라는 가설은 다르다. 가설이 바뀌더라도 원래의 관찰 기록은 남아 있어야 한다. 여러 사람이 조사할 때도 확정된 사실과 아직 확인할 내용의 경계가 분명해진다.
공유할 자료를 줄이기
재현에 필요하지 않은 사용자 식별자나 인증 정보가 로그에 들어 있을 수 있다. 외부에 전달할 때는 필요한 부분을 고르고 대체 자료로도 같은 문제가 재현되는지 확인한다. 경로와 요청 본문을 지우는 과정에서 실패 조건까지 없어질 수 있으므로 정리한 자료를 실제로 다시 실행해 보아야 한다. 민감 정보를 남기는 것과 재현 가능성을 유지하는 것을 함께 검토한다.
다른 사람이 다시 실행하기
자료를 정리한 뒤에는 처음 보는 사람이 어떤 순서로 실행해야 하는지 기준으로 점검한다. 준비 단계, 실행 명령, 기대 결과와 실제 결과가 구분되어야 한다. 기기나 시간이 달라 재현되지 않았다면 그 사실도 기록한다. 재현 실패는 원래 관찰을 없애지 않지만 아직 빠진 조건이 있다는 단서가 될 수 있다.