Python 코드로 표현하는 흐름
기존 Python 함수와 제어 흐름을 사용해 파이프라인을 작성한다. 조건문이나 반복문으로 실행 경로를 구성하고 실제 입력에 맞춰 작업과 분기를 생성할 수 있다.
실행 상태와 복구
엔진은 성공과 실패 및 재시도 같은 상태를 관리한다. 중단한 실행의 복구와 계산 결과 캐시 같은 기능으로 반복 작업을 조절할 수 있다. 웹 화면은 실행 로그와 진행 상태 및 의존 관계를 살펴보는 데 사용한다.
실행 시점과 환경의 연결
정해진 시각이나 외부 사건 및 API 호출로 흐름을 시작할 수 있다. 로컬 프로세스에서 개발한 흐름을 컨테이너와 클러스터 같은 다른 환경으로 배치할 수 있어 처리 코드와 실행 기반을 연결해 관리한다.
관련 문서
Apache Airflow / Dagster / Apache NiFi / Python / API / Apache Beam