검증 가능한 품질 조건
Expectation은 자료에 대해 확인할 수 있는 조건이다. 여러 조건을 Suite로 묶어 같은 자료 묶음에 적용하거나 서로 다른 묶음에 재사용할 수 있다. 자료가 어떤 특성을 가져야 하는지 선언적으로 표현한다.
자료 묶음과 규칙 연결
Data Source는 자료 저장소의 연결을 나타내고 Data Asset은 그 안에서 다룰 기록들의 모음이다. Batch Definition은 검사할 자료 묶음을 정한다. Validation Definition은 이 자료와 적용할 규칙 묶음을 연결한다.
결과를 처리 흐름에 연결
검증 결과는 실제 자료가 기대 조건과 얼마나 일치했는지 나타낸다. Checkpoint는 여러 검증 정의를 실행하고 결과를 후속 동작으로 전달할 수 있다. Data Docs는 규칙과 결과를 사람이 읽는 문서로 제공한다.
관련 문서
Pandera / dbt 데이터 변환 / Apache Airflow / Dagster / JSON Schema / 데이터베이스