실험의 흐름을 코드로 구성
워크플로를 작성하고 로컬에서 시험하는 기능을 제공한다. 다양한 Python 라이브러리를 사용한 계산을 처리 흐름 안에 넣고 필요한 실행 환경을 연결할 수 있다.
실행과 산출물의 추적
자료 처리 흐름과 실험 및 산출물을 자동으로 추적한다. 워크플로 내부의 자료 전달을 관리하고 외부 데이터 웨어하우스와 레이크의 자료에 접근하는 방식도 제공한다.
로컬 개발에서 운영 환경으로
로컬에서 만든 흐름을 클라우드와 Kubernetes 등의 계산 자원에 연결해 규모를 확장한다. Argo Workflows와 Airflow 같은 실행 도구와도 통합해 실험 과정에서 운영 배포로 이어지는 작업을 지원한다.
관련 문서
Argo Workflows / Apache Airflow / Dagster / Prefect / Python / 데이터베이스