위키득계정 ↗
기술

Google 파일 시스템

Google 파일 시스템기술
약칭
GFS
개발 조직
Google
연구 발표
SOSP 2003
주요 구성
마스터와 청크 서버
Google 파일 시스템인 GFS는 큰 자료를 여러 컴퓨터에 나누어 저장하는 분산 파일 시스템이다. 대형 파일의 순차 읽기와 추가 쓰기가 많은 작업 부하를 고려하고 장비 장애를 일상적인 조건으로 다룬다.

파일을 나누는 청크

파일은 고정 크기의 청크로 나뉘어 청크 서버에 저장된다. 각 청크는 여러 서버에 복제되며, 마스터는 파일 이름과 청크 배치 같은 메타데이터를 관리한다.

메타데이터와 본문 전달

클라이언트는 필요한 메타데이터를 마스터에서 얻고 실제 파일 자료는 청크 서버와 직접 주고받는다. 자료를 모두 마스터를 거쳐 보내지 않는 구조다.

작업 부하에 맞춘 인터페이스

초기 설계는 작은 지연보다 지속적인 대량 전송에 중점을 뒀다. 여러 클라이언트가 파일 끝에 기록을 추가하는 기능과 스냅샷 등 분산 응용을 위한 연산도 제공했다.

관련 문서

Bigtable / MapReduce / Percolator 증분 처리 / Chubby 잠금 서비스 / 데이터베이스 / 병렬 컴퓨팅