컨테이너를 단계로 연결하기
각 단계를 컨테이너 작업으로 표현하고 순서대로 실행하거나 의존 관계 그래프로 연결한다. 서로 독립적인 단계는 병렬 작업으로 구성할 수 있다. Kubernetes의 사용자 정의 자원으로 워크플로를 관리한다.
입력과 산출물의 전달
단계마다 입력과 출력을 매개변수나 산출물로 주고받을 수 있다. 공통 흐름을 템플릿으로 보관해 재사용하고 반복문과 조건문으로 실행할 단계를 구성한다.
실행 상태와 수명 주기 관리
웹 화면과 API 및 명령행 도구로 작업 흐름을 다룬다. 재시도와 시간 제한 및 일시 중지와 재개 같은 기능을 제공하고 완료된 워크플로를 보관하거나 관련 자원을 정리할 수 있다.
관련 문서
Apache Airflow / Prefect / Temporal 워크플로 / Apache Beam / Dagster / API