위키득계정 ↗
기술

DVC 데이터 버전 관리

DVC 데이터 버전 관리기술
정식 명칭
Data Version Control
주요 대상
자료 집합과 모델 파일
코드 연계
Git 메타데이터 추적
자료 보관
로컬 캐시와 Remote
DVC는 큰 자료 집합과 기계학습 모델의 버전을 코드와 함께 관리하는 도구다. Git에는 자료의 메타데이터를 기록하고 실제 자료는 캐시와 별도 저장소에 보관해 연결한다.

코드 이력과 자료 이력 연결

자료를 추적하면 원본 대신 작은 메타데이터 파일을 Git에서 관리한다. 이 파일은 원래 자료를 가리키는 역할을 한다. 소스 코드의 버전과 그때 사용한 자료 버전을 같은 프로젝트 이력에서 연결할 수 있다.

캐시와 작업 공간

추적한 자료는 캐시에 보관하고 작업 공간에 연결한다. 내용의 해시를 메타데이터와 캐시 경로에 활용하므로 특정 버전에 필요한 자료를 식별할 수 있다. 큰 파일 자체를 Git 기록에 넣는 것과 저장 경로가 나뉜다.

자료의 공유와 복원

Remote는 실제 자료를 올리고 내려받는 저장 위치다. 로컬 디렉터리와 클라우드 저장소 등 여러 종류를 지원한다. 다른 프로젝트 복사본에서 코드를 가져온 뒤 해당 메타데이터에 맞는 자료를 내려받아 작업 환경을 구성한다.

관련 문서

버전 관리 / 깃 (소프트웨어) / MLflow / Metaflow / Kedro / 데이터베이스