여러 작업을 하나의 흐름으로
배치 처리에는 자료 추출과 계산 및 결과 저장 같은 작업이 차례로 연결된다. Luigi는 각 작업을 정의하고 먼저 완료돼야 할 작업의 의존 관계를 해석해 전체 흐름을 관리한다.
서로 다른 처리 도구의 조합
개별 작업은 Python 코드뿐 아니라 Hive 질의나 Hadoop 작업 및 외부 스크립트를 실행할 수 있다. 계산 도구 자체를 대체하기보다 여러 도구의 작업을 이어 붙이는 역할을 맡는다.
코드와 실행 상태의 연결
의존 그래프를 Python으로 표현해 복잡한 매개변수와 작업 관계를 구성할 수 있다. 서버의 웹 화면은 작업을 검색하고 필터링하며 그래프를 살펴보는 기능을 제공한다. 오래 실행되는 배치 흐름의 진행과 실패를 파악하는 데 활용한다.
관련 문서
Apache Airflow / Prefect / Dagster / Apache Hive / MapReduce / Python