계속 바뀌는 자료의 처리
자료를 계속 덧붙이는 흐름에서는 기존 기록의 수정과 삭제도 반영해야 한다. Hudi는 테이블과 트랜잭션 및 인덱스를 통해 이런 변경을 관리하고 스트리밍과 증분 배치 처리에 연결한다.
쓰기와 읽기의 부담 배분
Copy On Write는 변경이 생기면 새 기본 파일을 만드는 방식이다. Merge On Read는 변경을 로그 파일에 기록하고 읽거나 압축 정리하는 과정에서 기본 파일과 합친다. 두 유형은 변경 반영과 조회에 드는 작업의 배분이 다르다.
필요한 범위의 자료 조회
스냅샷 조회는 완료된 변경을 기준으로 테이블 상태를 읽는다. 증분 조회는 지정한 시점 이후의 변경 자료를 가져오는 데 활용한다. 테이블 유형에 따라 읽기에 최적화된 조회도 가능하므로 자료의 최신성과 처리 요구를 함께 고려한다.
관련 문서
Apache Iceberg / Delta Lake / Apache Parquet / Apache Avro / Presto 질의 엔진 / 데이터베이스