모델로 나누는 변환 논리
원시 테이블에서 필요한 열을 선택하고 계산하는 논리를 모델로 구성한다. 변환 코드를 모듈화해 여러 분석 과정에서 공유하고 모델 사이의 연결을 프로젝트의 일부로 관리한다.
언어와 실행 엔진의 역할
프로젝트에는 SQL과 Jinja 템플릿 및 YAML 설정과 테스트 등이 들어간다. 엔진은 프로젝트를 컴파일하고 변환 그래프를 실행하며 메타데이터를 만든다. 변환은 연결한 자료 플랫폼에서 수행된다.
개발 과정과 자료의 맥락
코드의 버전 관리와 테스트 및 문서화를 변환 작업에 적용할 수 있다. 모델의 계보와 계약 및 지표 같은 정보는 자료가 어떻게 연결되고 무엇을 뜻하는지 설명하는 맥락이 된다. 수집 도구와 시각화 도구 사이에서 변환 계층을 구성한다.
관련 문서
SQL / Apache Airflow / Dagster / Apache Iceberg / ClickHouse / 데이터베이스