MLOps Orchestrator

 주요 기능

1. 자동 배포 및 관리 - 많은 수의 컨테이너를 자동으로 배포하고 관리

2. 스케일링 및 로드 밸런싱 - 컨테이너의 갯수 등을 스케일링하고 업무로드를 밸런싱

3. 자동 복구 및 장애 대응

4. 서비스 발견 및 네트워킹

5. 업데이트 및 롤백 관리

 

대구모 머신러닝 파이프라인 관리 - 수집된 대량의 데이터를 처리하고, 여러 머신러닝 모델을 효율적으로 트레이닝하고 배포하기 위한 파이프라인 구축

오케스트레이터 활용 - 쿠버네티스를 사용

 

실시간 데이터 처리 및 분석

대규모 분산 모델 트레이닝 - 분산 트레이닝, 쿠버네티스를 사용해서 대규모의 GPU 리소스를 분산 배치하고, 효율적인 모델 트레이닝 파이프라인 구축.

 

YAML - JSON이나 XML과 비슷함. YAML은 가독성이 좋고 키-값 쌍 들여쓰기 데이터 타입은 다양한 타입 지원함. XML은 태그가 많음. 

 

쿠버네티스 환경 구축

Pod

ReplicaSet - Pod의 복제본. 복제본 수 관리하고 자체 치유가능. AWS auto scaling 과 비슷한? 로드밸런싱 기능.

 

You can bootstrap a cluster as follows:
 1. Initializes cluster master node:
 kubeadm init --apiserver-advertise-address $(hostname -i) --pod-network-cidr 10.5.0.0/16
 2. Initialize cluster networking:
 kubectl apply -f https://raw.githubusercontent.com/cloudnativelabs/kube-router/master/daemonset/kubeadm-kuberouter.yaml

 

Pod는 하나 이상의 container를 실행해줌.

3. kubectl run fastcampusserver --image=nginx:latest --port 80

4. kubectl get pods

 

5. kubectl describe pods

 

Pod 단위로 관리, deployment 이용해서 고가용성 보장.