Taeyoon.Kim.DS

1. MLFlow Tracking : 학습 결과 추적하고, 다양한 프레임워크에서 동작할 수 있는 학습 코드의 재현성 Projects : 프롲게트의 코드, 환경 설정, 종속성 등 관리 Models : 학습된 머신러닝 모델 관리, 모델 배포 Registry : 모델 버전 관리, 공동 작업 모델 저장소 제공 모델 개발과 관리에 필요한 다양한 기능 제공. 2. KubeFlow 머신러닝 모델 개발과 배포를 위한 end to end 솔루션 제공 Distributed Training : Kubeflow는 Tf를 비롯한 다양한 머신러닝 라이브러리와 프레임워크 지원, 분산 트레이닝을 통해 대규모 데이터셋 처리 가능 Pipeline : 각 단계를 파이프라인으로 정의하고, 각 단계를 자동화 제공 Model Serving :..

데이터 과학 2024. 1. 5. 03:07

주요 기능 1. 자동 배포 및 관리 - 많은 수의 컨테이너를 자동으로 배포하고 관리 2. 스케일링 및 로드 밸런싱 - 컨테이너의 갯수 등을 스케일링하고 업무로드를 밸런싱 3. 자동 복구 및 장애 대응 4. 서비스 발견 및 네트워킹 5. 업데이트 및 롤백 관리 대구모 머신러닝 파이프라인 관리 - 수집된 대량의 데이터를 처리하고, 여러 머신러닝 모델을 효율적으로 트레이닝하고 배포하기 위한 파이프라인 구축 오케스트레이터 활용 - 쿠버네티스를 사용 실시간 데이터 처리 및 분석 대규모 분산 모델 트레이닝 - 분산 트레이닝, 쿠버네티스를 사용해서 대규모의 GPU 리소스를 분산 배치하고, 효율적인 모델 트레이닝 파이프라인 구축. YAML - JSON이나 XML과 비슷함. YAML은 가독성이 좋고 키-값 쌍 들여쓰기 ..

데이터 과학 2024. 1. 4. 23:35

Conda & Virtualenv Conda와 Virtualenv를 이용해서 가상환경을 만들고 원하는 패키지 및 라이브러리를 다운로드 받아서 격리된 개발환경을 만들고, 개인별로 업무할 수 있다. 사실 개발환경을 동일한 pipfile 또는 requirements.txt등으로 package dependency를 일정하게 유지하는 것은 팀내의 모든 개발자가 어떤 pc에서 작업을 하더라도 동일한 환경에서 업무하여 나중에 있을 crash를 방지하는 데에 있는데, 이 강의에서는 아직 개별 pc에서 개별 환경을 개발하는 것만 우선적으로 가정한다. 1. Anaconda download 2. conda --version : 버전 알아보기 23.1.0 3. conda update -n base -c defaults con..

데이터 과학 2024. 1. 3. 20:47

1. ML LifeCycle 구성요소 * Data Collection and Preparation * Feature Engineering * Model Selection and Model Learning * Model Evaluation and Model Tuning * Deployment and Monitoring * Re Evaluation and Model Update 2. 문제들

데이터 과학 2023. 12. 27. 22:02

import pandas as pd self.prediction_data = pd.DataFrame({ 'ocr_score': [...], # OCR 점수 데이터 'logo_score': [...], # 로고 탐지 점수 데이터 'image_score': [...], # 이미지 점수 데이터 # 필요한 다른 컬럼들... }) 먼저 각 점수가 데이터 프레임에 존재한다고 가정한다. self.prediction_data['custom_tag'] = [[] for _ in range(len(self.prediction_data))] 데이터프레임에 새로운 컬럼인 'custom_tag'를 생성하고, 데이터프레임의 전체 row의 수만큼 list comprehension을 통해서 빈 리스트를 각 행에 생성해준다. def ..

데이터 과학 2023. 12. 7. 00:48

1. Graph Data Model? 그래프 데이터 모델은 관계를 기반. 그래프는 연결된 데이터의 연결 및 패턴을 탐색. 높은 연결성을 가진 데이터들을 연결. 현실 세계의 데이터는 대부분 높은 연결성을 가짐. 같은 지역에 살면서 비슷한 연령대에 사는 사람들의 recommendation service를 제공한다고하면, 높은 연결성을 갖춘 데이터. 기존 관계형이나 key value 형태로 인해 효율적인 구조화를 하기 어려운 것에 비해서 패턴이나 계층분석을 손쉽게 할 수 있음. Graph Data model은 vertices 또는 nodes로 이루어져 있음. 관계를 나타내는 Edges. Edges는 방향을 갖을 수 있음. 관계를 기반으로 한 검색을 효율적으로 대응. 1) Property graph - 아파치 ..

데이터 과학 2023. 12. 6. 02:22

Class Imbalance 기계 학습 또는 분류 문제에서 발생하는 현상. 클래스간의 데이터 불균형을 나타냄. 희귀 질병을 감지하는 분류 모델에서 질병이 있는 경우 (양성 클래스) 데이터가 드물게 발생하는 경우. 현실 세계의 데이터는 종종 불균형한 데이터 분포를 갖는데, 대부분의 거래가 정상적인 신용카드 거래이고, 사기 거래는 드물게 발생한다. 또는 데이터 수집 과정에서 클래스 불균형이 발생한다. 특정 클래스에 대한 Sampling오류나, Data 수집 방법, Labelling 오류가 날 수 있다. ML 분야에서는 1) 모델 편향 : 모델이 소수 클래스를 올바르게 식별하지 못함. 2) 비용 고려 : 소수 클래스의 중요도가 높은 경우, 이를 반영하지 않으면 예측의 비용이나 성능이 실제 상황과 맞지 않음 3..

데이터 과학 2023. 12. 6. 01:28

https://fastcampus.co.kr/courses/233813/clips/ 패스트캠퍼스 온라인 강의 - 초격차 패키지 : 10개 프로젝트로 한 번에 끝내는 MLOps 파이프라인 구 fastcampus.co.kr Airplane Delay Regression - 항공기가 얼마나 지연되어 도착할 지를 예측하는 모델을 만들어보자. 지연되는 이유를 파악하고 문제점을 해결하거나 대응하여 서비스 품질을 향상시킬 수 있다. Data Processing 1 1-1 Data Load dataframe_airlines = pd.read_csv("airlines.csv") dataframe_flights = pd.read_csv("flights.csv") 외에도 4개의 csv 형식의 데이터가 존재한다. 데이터를 간..

데이터 과학 2023. 12. 4. 23:57