Taeyoon.Kim.DS

1. Deep Learning Inspired by Brain: The structure of deep learning models is inspired by the human brain's neurons and their connections. Understanding how these neurons work helps in creating artificial neural networks. 2. Neural Network Complexity: Individual neurons are simple, but their complex interconnections lead to sophisticated behaviors capable of learning and problem-solving. 3. Scala..

AWS Certified Machine Learning Specialty 2023. 11. 11. 18:38

https://www.udemy.com/course/aws-machine-learning/learn/lecture/16573022#overview Various feature engineering techniques used in data processing and machine learning, emphasizing their importance and applications: Binning: Converting numerical data into categorical data by grouping values into ranges. For example, ages grouped by decades. Quantile Binning: Ensures each bin has an equal number of..

AWS Certified Machine Learning Specialty 2023. 11. 10. 20:29

Feature Engineering in Machine Learning is the process of enhancing, selecting, and transforming the attributes (features) of the training data to improve model accuracy and efficiency. Features are the attributes used to train the model, such as a person's age, weight, or address when predicting their income. Not all features are equally relevant, so part of Feature Engineering is selecting and..

AWS Certified Machine Learning Specialty 2023. 11. 1. 22:52

Hadoop consists of modules like the HDFS file system, YARN, and MapReduce, all built upon Hadoop-core. HDFS (Hadoop Distributed File System) stores data across cluster instances for scalability and fault tolerance. YARN (Yet Another Resource Negotiator) introduced in Hadoop 2.0, manages cluster resources. MapReduce is a framework for parallel data processing. It consists of mapper and reducer fu..

AWS Certified Machine Learning Specialty 2023. 10. 31. 23:00

Elastic MapReduce (EMR) is a managed Hadoop framework that runs on EC2 instances. Despite its name, which references the older MapReduce component of Hadoop, EMR encompasses more than just Hadoop. Technologies like Spark, Hbase, Presto, Flink, Hive, and more can be pre-installed with EMR. EMR Notebooks are similar to Jupyter Notebooks and offer integration with various AWS services. EMR is signi..

AWS Certified Machine Learning Specialty 2023. 10. 31. 22:26

AWS Athena는 visualisation이나 ETL 툴이 아니고, serverless interactive 쿼리를 S3 데이터내에서 가능하게 하는 서비스이다. Amazon S3 - Glue ETL - Athena - Quicksight로 가는 방식이 있다. $5 per TB scanned 사용한 만큼 지불하는 방식이고, columnar format를 사용하면 비용을 절감할 수 있다. Columnar format이란? 데이터베이스 저장 방식에는 전통적으로 row-oriented(행 지향) 형식을 썼다. 하지만 데이터 분석이나 빅데이터 처리 같은 걸 할 때 columnar format을 사용하는 게 더 좋았다. columnar format의 특징은 대충 이런 것이다: 데이터 압축: 같은 데이터 형식의 ..

AWS Certified Machine Learning Specialty 2023. 10. 30. 18:07

Amazon Rekognition은 객체나 장면 디텍션이 가능하다. Imagenet이나 Resnet을 사용한다. Image moderation을 통해서 NSFW같은 offensive한 내용을 찾아내고 완화할 수 있다. 안면 분석이나 유명인사 찾기 등도 가능하다. text in image (OCR)도 가능하다. 비디오 분석도 가능한데 kinesis video를 통해서만 가능하다. Lambda를 이용해서 이미지 분석에 사용할 수있다. Amazon Forecase는 ML을 이용한 정확한 예측을 위해서 사용된다. AutoML이 가장 좋은 모델을 선택하고 시계열 데이터에만 작동한다. 인벤토리 플래닝, 재무 플래닝, 자원 플래닝 등에 사용된다. ARIMA는 별 스잘데기도 없는데 자주 언급되는 모델이다. Auto R..

AWS Certified Machine Learning Specialty 2023. 10. 30. 02:06

Amazon comprehend는 NLP 기능으로 특정 텍스트에서 이벤트를 디텍션하거나, 중요단어들을 추출하거나, entity를 추출하고 confidence score를 생성할 수 있다. Targeted sentiment 가능하고 내 개인 데이터로 training이 가능하다. Amazon Translate는 커스텀형식의 전문용어를 지원한다. 특별한 번역 기능을 갖춘 것. Amazon Transcribe는 speech to text 기능이다. 스피커의 identificiation 과 channel identification이 가능해서 두 명이 말하더라도 각각 다른 transcript으로 나타낼 수 있다. Custom Vocabs는 특별한 단어들을 list 또는 table로 넣을 수 있다. Call anal..

AWS Certified Machine Learning Specialty 2023. 10. 30. 02:02