위키득계정 ↗
기술

Ray 분산 계산

Ray 분산 계산기술
소프트웨어 유형
분산 계산 프레임워크
범용 실행 기반
Ray Core
상위 기능
자료 처리와 학습 및 모델 제공 등
실행 구성
Head 노드와 Worker 노드
Ray는 Python과 기계학습 응용을 여러 계산 자원으로 확장하는 공개 프레임워크다. 범용 분산 계산 기능과 학습 및 자료 처리용 라이브러리와 클러스터 실행 기반을 함께 제공한다.

범용 계산과 상위 라이브러리

Ray Core는 Python 응용을 분산하는 기본 계산 기능을 제공한다. 그 위의 라이브러리는 자료 전처리와 분산 학습 및 하이퍼파라미터 탐색과 강화학습 및 모델 제공 같은 작업을 연결한다.

여러 노드의 실행 기반

Ray 클러스터는 공통 Head 노드에 연결한 Worker 노드들로 구성된다. 고정된 크기로 운영하거나 응용이 요청하는 자원에 맞춰 규모를 조정할 수 있다. 노드와 GPU를 활용해 처리 작업을 나눈다.

개발과 운영의 연결

로컬에서 작성한 Python 작업을 큰 클러스터로 확장하는 기능을 제공한다. Kubernetes와 클라우드 환경의 연결 도구를 갖추고 작업 배치와 장애 대응 및 자원 확장 같은 실행 관리 기능을 맡는다.

관련 문서

Dask / Metaflow / Python / Apache Beam / Apache Flink / 기계학습