생성해야 할 자료를 정의하기
자료 자산은 영구 저장소에 있는 테이블이나 파일 같은 객체다. 자산 정의는 어떤 자료가 존재해야 하고 어떻게 생성하거나 갱신할지를 코드로 표현한다. 결과물을 기준으로 처리 논리를 구성하는 방식이다.
의존 관계가 포함된 계산
자산 정의는 계산에 필요한 다른 자산과의 관계를 안다. 이를 통해 어떤 자료의 생성이 다른 자료에 의존하는지 연결해서 다룬다. 선언한 관계와 실행의 관측 정보를 함께 활용하는 것이 주요 설계 방향이다.
계산과 결과 저장
Materialization은 자산에 연결된 함수를 실행하고 그 결과를 영구 저장소에 보관하는 작업이다. 웹 화면이나 Python API에서 이를 실행할 수 있다. 코드로 정의한 계산과 실제 저장된 자료의 상태를 연결해 관리한다.
관련 문서
Apache Airflow / Prefect / Apache NiFi / Python / 데이터베이스 / API