함수를 연결하는 노드
Node는 Python 함수를 감싸 입력과 출력에 이름을 부여한다. 한 노드의 결과를 다른 노드의 입력으로 연결할 수 있어 개별 계산을 분리하면서 전체 처리 흐름을 구성한다.
의존 관계로 정하는 실행 순서
Pipeline은 여러 노드의 입력과 출력 관계를 해석해 실행 순서를 정한다. 노드를 목록에 적은 순서와 실제 실행 순서가 반드시 같지는 않다. 필요한 자료의 선후 관계를 중심으로 계산을 연결한다.
처리 코드와 저장소의 분리
Data Catalog는 프로젝트가 사용하는 자료 원천의 등록부다. 노드에서 사용한 이름을 실제 자료의 읽기와 쓰기에 대응시킨다. 여러 파일 형식과 파일 시스템을 지원해 계산 함수가 저장 방식의 세부 처리를 직접 맡는 부담을 줄인다.
관련 문서
Dagster / Prefect / Apache Airflow / Dask / Python / 데이터베이스