위키득계정 ↗
기술

lakeFS

lakeFS기술
주요 대상
데이터 레이크 자료
버전 표현
분기와 커밋
변경 반영
병합
연결 방식
자료 도구와 저장소 API
lakeFS는 데이터 레이크의 자료를 Git과 비슷한 분기와 커밋 및 병합 개념으로 관리하는 버전 제어 시스템이다. 원본 자료는 저장소에 둔 채 메타데이터 계층에서 자료 버전과 변경의 관계를 관리한다.

자료를 격리하는 분기

분기는 다른 변경과 분리된 자료 상태를 제공한다. 처음 분기를 만들 때는 메타데이터를 구성하므로 기존 객체 전체를 복제하지 않는다. 개발과 시험에서 별도의 자료 상태를 만들 때 활용한다.

시점을 고정하는 커밋

커밋은 저장소의 전체 상태를 나타내는 변경 불가능한 체크포인트다. 특정 시점의 자료를 다시 사용하거나 변경 이전 상태로 돌아가는 작업에 활용할 수 있다. 병합은 분기의 변경을 원자적으로 반영하는 기능이다.

기존 자료 도구와의 연결

구조화 자료와 비구조화 자료를 함께 다루며 여러 오브젝트 저장소를 지원한다. 메타데이터 계층이 버전에 해당하는 객체를 찾아 클라이언트가 실제 저장소의 자료를 읽도록 연결한다. S3 API 호환도 제공해 기존 도구와의 연계를 돕는다.

관련 문서

DVC 데이터 버전 관리 / 버전 관리 / Apache Iceberg / Delta Lake / MLflow / DuckDB