파일 저장소에 더하는 테이블 관리
기존 데이터 레이크 위에서 자료를 일관된 테이블로 다루도록 메타데이터와 트랜잭션을 관리한다. 읽는 쪽이 부분적으로 적용된 변경 때문에 일관성 없는 자료를 보는 일을 막는 것이 주요 기능이다.
여러 처리 방식의 공통 자료
하나의 테이블을 배치 조회 대상으로 사용하면서 스트리밍의 입력이나 출력으로도 연결할 수 있다. 새로 들어오는 자료와 과거 자료의 재적재 및 대화형 질의를 같은 테이블 처리 구조에 연결한다.
스키마와 자료 변경
쓰기 과정의 스키마 검사는 테이블 구조에 맞지 않는 자료의 유입을 관리한다. 병합과 갱신 및 삭제 연산을 지원하고 자료 버전을 이용해 이전 상태를 조회하거나 되돌릴 수 있다. 여러 처리 엔진과의 연결은 커넥터로 제공한다.
관련 문서
Apache Iceberg / Apache Parquet / Presto 질의 엔진 / Apache DataFusion / SQL / 데이터베이스