코드로 작성하는 작업 흐름
워크플로에는 개별 작업과 그 실행 순서 및 조건을 정의한다. Python 코드로 표현하므로 매개변수를 사용하거나 동적으로 흐름을 생성할 수 있고 버전 관리와 테스트에도 연결할 수 있다.
실행 시점과 작업의 연결
시간이나 사건을 기준으로 배치 지향 작업 흐름을 실행할 수 있다. 내장 Operator와 확장 기능으로 여러 외부 기술의 작업을 연결한다. Dag는 이런 작업의 의존 관계와 실행 관련 설정을 함께 담는다.
실행 결과의 관찰과 재처리
웹 화면에서 실행을 수동으로 시작하고 작업 상태와 로그를 살펴볼 수 있다. 과거 기간의 실행을 채우거나 실패한 작업만 다시 실행하는 기능도 제공한다. 시작과 끝이 분명한 작업들을 연결하고 관리하는 데 활용한다.
관련 문서
Apache NiFi / Apache Camel / Apache Beam / Apache Kafka / Python / MapReduce