위키득계정 ↗
기술

실패 재현과 회귀 테스트

실패 재현과 회귀 테스트기술
출발점
문제를 재현하는 입력과 조건
검사의 핵심
기대 동작을 명확히 판정
확인 절차
수정 전 실패와 수정 후 성공
불안정한 검사
반복 성공으로 원인 해결을 대신하지 않음
회귀 테스트는 과거 오류를 다시 만들던 조건을 보존하고 수정 뒤의 기대 동작을 자동으로 확인하는 검사다. 실패를 관찰하는 것과 같은 원인이 되살아났을 때 확실하게 탐지하는 것은 구분해야 한다.

재현 스크립트에서 테스트로

실패를 보여 주는 실행 자료는 조사에 유용하지만 그 자체로 좋은 자동 검사는 아닐 수 있다. 사람이 로그를 읽어야만 문제를 알 수 있다면 기대 결과를 기계적으로 판정할 부분을 추가해야 한다. 오류 수정 후 무엇이 반드시 성립해야 하는지 정하고 반환 값이나 상태 변화처럼 의미 있는 결과를 확인한다.

수정 전에도 실행하기

테스트가 수정된 코드에서 성공하는 것만으로 원래 버그를 잡는 검사라고 결론 내릴 수는 없다. 가능하다면 수정 전 코드에서 의도한 이유로 실패하는지 확인한다. 환경 준비 실패나 다른 예외 때문에 실패했다면 목적에 맞는 회귀 검사가 아니다. 수정 전후의 차이를 분명히 보여 주는 검사는 이후 유지보수에서도 의미가 남는다.

좁은 검사의 장점

전체 시스템을 실행해야 하는 검사만 만들면 느리고 불안정해질 수 있다. 문제의 핵심을 보존할 수 있다면 작은 단위로 줄여 빠르게 검사하고, 필요한 연결은 별도의 통합 검사로 확인한다. 다만 경계 간 상호작용이 원인인데 그것을 모두 대체하면 버그가 사라질 수 있다. 빠른 실행과 실제 실패 조건의 보존을 함께 검토한다.

시간과 순서에 의존하는 경우

특정 시간이 지나기를 기다린 뒤 결과를 확인하는 테스트는 장비 부하에 따라 흔들릴 수 있다. 작업이 완료되었다는 명확한 조건이나 관찰 지점을 이용할 수 있는지 살핀다. 동시성 문제에서는 특정 사건 순서를 통제하는 것이 무작정 대기 시간을 늘리는 것보다 원인을 드러내기 쉬울 수 있다. 테스트 자체가 실제 코드의 보호 규칙을 대신하지 않도록 주의한다.

재실행으로 통과했을 때

같은 코드가 성공과 실패를 오가면 테스트나 실행 환경에 비결정적인 요소가 있을 수 있다. 재실행은 발생 빈도를 관찰하는 수단이지만 원인을 없애는 수정은 아니다. 자주 흔들리는 실패를 무조건 무시하면 실제 회귀도 놓칠 수 있다. 첫 실패 기록과 다음 실행을 함께 남기고 입력, 순서와 환경 차이를 조사한다.

오래 유지할 검사

구현 내부의 우연한 순서나 표현보다 외부에서 지켜야 할 동작을 중심으로 판정하면 코드가 바뀌어도 의미를 유지하기 쉽다. 과거 실패 입력을 알아볼 수 있는 이름과 이유를 남기되 불필요한 대용량 자료는 줄인다. 검사 실행 비용과 실패 메시지도 함께 다듬어야 이후의 실제 회귀를 빠르게 이해하고 수정할 수 있다.

관련 문서

최소 재현 예제 만들기 / 동시성 오류 진단 / 정의되지 않은 동작 검사 / 진단 로그와 재현 자료