위키득계정 ↗
기술

DataHub 메타데이터

DataHub 메타데이터기술
주요 역할
메타데이터 관리와 자료 탐색
기반 표현
메타데이터 그래프
관계 추적
열 수준의 자료 계보
제공 형태
자체 운영 OSS와 관리형 Cloud
DataHub는 여러 자료 시스템의 메타데이터를 모아 자료를 찾고 관계를 살펴보며 관리하는 플랫폼이다. 메타데이터 그래프와 자료 계보를 바탕으로 테이블과 열 및 관련 업무 정보를 연결한다.

흩어진 자료 정보의 연결

여러 자료 플랫폼과 도구의 메타데이터를 수집해 함께 탐색한다. 자료의 스키마와 담당자 및 사용 정보 같은 맥락을 연결하면 필요한 자료가 무엇인지 파악하는 데 도움을 준다.

자료가 만들어지는 관계

열 수준의 계보는 원천 자료에서 결과까지 이어지는 관계를 살펴보는 기능이다. 어떤 자료가 다른 자료에 연결돼 있는지 확인해 변경의 영향을 검토하거나 문제를 조사하는 데 활용한다.

정의와 담당자의 관리

업무 용어집과 자산의 소유 및 관리 책임을 메타데이터와 함께 다룬다. 자체 운영하는 공개 소프트웨어와 관리형 서비스가 제공되며 추가 관측과 관리 기능의 범위는 제공 형태에 따라 구분된다.

관련 문서

OpenLineage / dbt 데이터 변환 / Apache Hive / Dagster / Feast 피처 스토어 / 데이터베이스