Taeyoon.Kim.DS

Linear Learner는 1) Rgression predictions와 2) Classification predictions이 동시에 가능한데 그건 threshold를 얼만큼 정해주냐에 따라서 달라지기 떄문이다. 그래서 바이너리 또는 멀티클래스에도 사용될 수 있다. 데이터 타입은 Record Io-wrapped protobuf가 사용될 수 있고, float 32 data만 가능하다. csv파일일 수도 있고 pipe mode가 훈련 속도를 증가시킬 수도 있다. preprocessiong에서 normalisation그리고 input data를 셔플할 수 있다. Training에서는 SGD, Optimsation (Adam이나 AdaGrad 등)이 사용 될 수 있고 L1,L2 튜닝도 가능하다. Valida..

AWS Certified Machine Learning Specialty 2023. 10. 30. 01:57

SageMaker에서 S3에 적재되어있는 data가 Training Job이 돌아갈 수 있도록 client app 에 제공디어지고 실제적인 Training code는 Elastic Container Register에 존재한다. training된 모델은 S3에 저장하고 저장된 trained model이 inference code와 결합하여 endpoint에서 실행된다. 그러면 client는 실시간 또는 배치로 추론값을 받아볼 수 있게 된다. 예를 들어 사진을 찍어서 고양이인지 개인지 판별하는 앱이라고 가정해볼 수 있다.

AWS Certified Machine Learning Specialty 2023. 10. 30. 01:53

ML에서 오버피팅을 막아준다. L1: 전체 가중치의 합 L2: 전체 가중치의 합에 루트 몇몇 아이디어는 손실 함수에도 적용될 수 있다. L1은 전체 피쳐들을 0으로 만드는 것이고 L2는 몇몇 피쳐들을 남기는 것이다. 100개의 피쳐중에서 10개의 피쳐만 유의미해서 남기고 싶다 - coefficients가 없는 피쳐들로만.

AWS Certified Machine Learning Specialty 2023. 10. 30. 01:51

랜덤 포레스트는 여러가지 Decision Tree의 합이다. 여러 가지 Decision Tree를 만든 후에 voting을 통해서 결과물을 어는다. Bagging은 샘플에서 샘플1에서 나온 모델1과 그 다음 샘플 2에서 나온 모델 2 그리고 모델 3처럼 parallel하게 만들어지고 더 로버스트한 모델을 만든다. Boosting은 Training이 sequential하게 각 분류기에 해당된다는 것이다. 샘플에서 모델1 -> 모델2 -> 모델3으로 가면서 성능이 향상된다. XGBoost와 Logistics Regression의 성능을 비교해볼 수 있다. Bagging은 Parallisation하는 것이다.

AWS Certified Machine Learning Specialty 2023. 10. 30. 01:39

The discussion on Amazon S3 Security covers several key aspects: User-Based Security: IAM policies are used to authorize specific API calls for individual IAM users. This means you can control what actions a user is allowed to perform within Amazon S3. Resource-Based Security: A newer approach involves using S3 Bucket policies. These policies are applied at the bucket level and can be configured..

AWS Certified Machine Learning Specialty 2023. 10. 9. 19:08

Transitioning Objects Between Storage Classes: Objects in Amazon S3 can be moved between storage classes, such as from Standard to Standard IA, to Intelligent Tiering, to One-Zone IA, and from there to Flexible Retrieval or Deep Archive. Various permutations are possible based on your data access and archiving needs. Automation with Lifecycle Rules: Transitioning objects can be done manually, bu..

AWS Certified Machine Learning Specialty 2023. 9. 18. 22:59

Amazon S3 Standard - General Purpose: Ideal for frequently accessed data with high availability and low latency. Suitable for big data analytics, mobile apps, and content distribution. Amazon S3 - Infrequent Access: Designed for less frequently accessed data that requires rapid access when needed. Used for disaster recovery and backups. Amazon S3 One Zone - Infrequent Access: Offers high durabil..

AWS Certified Machine Learning Specialty 2023. 9. 18. 16:24

https://www.udemy.com/course/aws-machine-learning/learn/lecture/16666294#content In this Udemy course on AWS Certified Machine Learning Specialty, the instructor begins by introducing Amazon S3 (Simple Storage Service) and its key concepts. S3 allows you to store objects or files in buckets, and these buckets must have globally unique names. Objects within S3 are essentially files with unique ke..

AWS Certified Machine Learning Specialty 2023. 9. 14. 22:40