Taeyoon.Kim.DS

https://colab.research.google.com/drive/1-FEQbWuXnlZg2LTs9-p8fTy-07Qx1H2b#scrollTo=MB65yTX3a1Vf Google Colaboratory Notebook Run, share, and edit Python notebooks colab.research.google.com Discord 질문사항 가장 높은 roc_auc_score를 가진 ML with Feature Selection (No Sampling)을 선택하게 되었는데요. 1) 실제 현업에서 퇴사 가능성이 높은 직원을 찾아내는 모델을 만들어달라고 요청이 들어온 것이라면, 결과물은 어떤 방식으로 다시 HR팀에 전달할 수 있을까요? Training 단계에서 YES (퇴사자)만 대상으로 ..

데이터 과학 2023. 11. 30. 22:26

데이터를 사용해서 머신러닝 알고리즘을 훈련시키고 예측이나 분류 등의 작업을 수행할 수 있게 하는 과정 목적 : 주어진 데이터를 기반으로 알고리즘이 일반적인 패턴을 훈련하고, 이를 바탕으로 미지의 데이터에 대해 예측하거나 분류하는 능력 개발 구성요소 : 데이터, 알고리즘, 손실함수 등 1. 데이터 준비 - 수집, 정제, 전처리를 통해서 훈련 데이터셋 준비 2. 모델 선택 - 문제의 유형에 따라, 주어진 상황에 따라 적합한 알고리즘 및 모델 학습 유형 선택 3. 모델 초기화 - 무작위 초기 파라미터 4. 훈련 - 손실함수 사용해서 예측과 실제 레이블 간의 오차를 계산. 최적화를 사용하여 손실 최소하는 방향으로 모델 파라미터 업데이트 5. 평가 - 별도의 Validation Dataset을 사용하여 모델 성능..

데이터 과학 2023. 11. 29. 00:37

https://colab.research.google.com/drive/1OiQn9VQJn8-f7D-NiPrtb1KGjLO0WXzo Google Colaboratory Notebook Run, share, and edit Python notebooks colab.research.google.com Feature Engineering (Data Cleansing/ Feature Selection/ 데이터분석 기법) Noise Data 식별 및 처리 Anomaly Data 식별 및 처리 누락 Data 식별 및 처리 전처리를 자동화하고 관리함으로서 모델의 신뢰성 높이기. 차원의 저주 - 높은 차원의 데이터는 모델 학습 시간이 오래 걸리고 과적합의 위험이 있다. 계산 효율성 모델의 해석 ML을 활용한 Featu..

데이터 과학 2023. 11. 27. 23:48

학습 데이터 준비 (Data 유형) 1) 정형, 반정형, 비정형 데이터 정형 표 형태로 표현되며 고정된 스키마를 가진다. 고객 데이터 베이스라면 고객 이름, 주소, 전화번호, 이메일과 같은 고정된 필드가 있음. 비정형 구조가 없거나 매우 제한적인 구조를 가지는 데이터. 텍스트, 이미지, 오디오, 비디오 형태. 예를 들면 트위터의 트윗, 의료 이미지 등. 반정형 구조가 명확하게 정의되지 않았으나 일부 구조화 된 정보가 있음. XML, JSON, HTML등과 같은 마크업 언어를 사용된 데이터 형태 2) 실시간 데이터 스트리밍 데이터 데이터를 실시간으로 분석하고 수행해야 하는 데이터. 시간이 지나면서 변경되며 새로운 데이터가 계속 이전 데이터에 추가됨. IoT 데이터 금융 거래 데이터는 실시간으로 처리되어야 ..

데이터 과학 2023. 11. 27. 20:47

머신러닝 상품화까지의 개발 모델 학습만 하면 될까? 대부분의 사람들이 학습에 촛점을 맞추고 이야기를 나누고 전후 관계는 소외되기 때문에 실제로 IT 또는 ML에서 일하는 사람이라고 하더라도 명확하게 알지 못하는 경우가 있다. 모델 학습은 업무의 굉장히 작은 부분이다.전체의 10-20% 정도를 차지한다. 다양한 과정을 거치는 모델 개발 여정 모델 개발 여정 Offline data --> EDA Offline data --> Data Preparation --> Model Training Model evaludation and validation --> Trained Model (Saved keras weights) 모델 하나 만드는데 6개월에서 1년 정도 소요됨. 기업의 비즈니스를 위해 활용되게 됨. 1)..

데이터 과학 2023. 11. 25. 21:20

1.Part 1 머신러닝, 제대로 알고 가자 강사 및 강의 소개 10개의 현업 프로젝트를 통해서 실제 실습할 수 있도록 한다. MLOps에 대해서 간략하게 설명한다면, 머신러닝을 운영하는 기술이다. 기계 학습 모델을 관리하고 서비스화 하기 위한 배포를 한다. 그리고 유지보수 하기 위한 방법과 프로세스를 가르킨다. 1. 머신러닝 상품화: AI 모델을 실제 제품 또는 서비스에 통합하여 상업적으로 활용 가능한 형태로 전환하는 과정 2. DevOps : 소프트웨어 개발과 IT상품화 간의 협력,통합 및 자동화를 강조하는 배포 프로세스 문화? 3. 자동화 : 개발과 시스템 운영에서 반복적으로 사람 노동력이 필요한 일을, 소프트웨어적으로 자동화 하는 것. 인프라를 코드로 관리. Terraform같은 것이라 생각하면 ..

데이터 과학 2023. 11. 25. 00:11

SELECT MEMBER_ID, MEMBER_NAME, GENDER, DATE_FORMAT(DATE_OF_BIRTH, '%Y-%m-%d') AS DATE_OF_BIRTH FROM MEMBER_PROFILE WHERE MONTH(DATE_OF_BIRTH) = 3 AND TLNO IS NOT NULL AND GENDER = 'W' ORDER BY MEMBER_ID ASC; MEMBER_PROFILE 테이블에서 성별이 여성이면서, 전화번호가 비어있지 않고, 생일이 3월인 경우, DATE FORMAT을 00:00:00이 추가되지 않도록 지정해주고, 오름차순 ASC로 출력. SELECT PT_NAME, PT_NO, GEND_CD, AGE, COALESCE(TLNO, 'NONE') AS TLNO FROM PATIE..

데이터 과학 2023. 11. 11. 19:34

1. Deep Learning Inspired by Brain: The structure of deep learning models is inspired by the human brain's neurons and their connections. Understanding how these neurons work helps in creating artificial neural networks. 2. Neural Network Complexity: Individual neurons are simple, but their complex interconnections lead to sophisticated behaviors capable of learning and problem-solving. 3. Scala..

AWS Certified Machine Learning Specialty 2023. 11. 11. 18:38