여러 도구의 실행 정보를 연결
자료 처리에는 서로 다른 실행 엔진과 작업 관리 도구가 참여한다. 공통 규격은 각 도구가 남기는 자료 집합과 작업 및 실행 정보를 일정한 방식으로 식별하고 교환하도록 한다.
기본 모델을 보강하는 Facet
Facet은 기본 개체에 붙는 메타데이터 조각이다. 공통 모델을 유지하면서 필요에 맞는 부가 정보를 붙여 표현을 확장한다. 이런 구조는 여러 시스템이 공유할 기본 정보와 각자의 추가 정보를 함께 다루도록 한다.
수집과 분석 도구의 구분
OpenLineage는 실행 중인 작업과 관련 사건의 메타데이터를 정의한다. 설정한 백엔드로 사건을 전달하며 Airflow와 Flink 및 dbt 같은 도구의 통합 기능을 제공한다. 수집한 계보를 보관하고 시각화하는 도구는 이 규격을 활용해 구성할 수 있다.
관련 문서
Apache Airflow / Apache Flink / dbt 데이터 변환 / Feast 피처 스토어 / Great Expectations / OpenAPI 명세