Taeyoon.Kim.DS

AWS OpenSearch Service Amazon Web Services에서 제공하는 완전 관리형 분산 검색 및 분석 엔진입니다. 이 서비스는 Elasticsearch 및 OpenSearch를 기반으로 하며, 대규모 데이터 세트에 대한 실시간 검색 및 분석 기능을 제공합니다. AWS OpenSearch Service는 웹사이트 검색, 로그 및 이벤트 데이터 분석, 애플리케이션 모니터링, 그리고 전체 텍스트 검색 기능 등 다양한 사용 사례를 지원합니다. 완전 관리형, 확장성, 보안, 고가용성, 모니터링 및 로깅을 제공. Elastic Search Elasticsearch는 Apache Lucene 기반의 오픈 소스, 분산, RESTful 검색 엔진입니다. 대량의 데이터를 신속하게 저장, 검색, 분석할 ..

데이터 과학 2024. 2. 13. 18:11

Translate the following content from text to an markdown language? 1. Introduction This course underscores the distinction between base LLMs and instruction-tuned LLMs, emphasizing the advantages of the latter for practical applications due to their training to follow instructions and produce helpful, honest, and safe outputs. The curriculum, designed with contributions from both OpenAI and Deep..

데이터 과학 2024. 2. 12. 23:42

Q1. Calling a child module. Specifies the moudel version. During a terraform init, what happen if the version parameter is removed? - Terraform would use the existing module already downloaded. Q2. Alias provider "aws" { region = "us-east-1" } provider "aws" { alias = "west" region = "us-west-2" } provider "aws" { alias = "eu" region = "eu-west-2" } Using the same provider with diffeent configs ..

데이터 과학 2024. 2. 10. 00:58

IaC that is Delcarative and Cloud Agnostic. AWS - SysOps Administrator GCP - Associate Cloud Engineer Azure - Azure Administrator 1. Watch video lecture 2. Do hands-on labs 3. Do paid online practice exams What is IaC? automate creating, updating or destroying cloud infrastructure. - avoid to misconfigure a service though human error Populare infrastructure as Code tools (IaC) Declarative 1. exp..

데이터 과학 2024. 2. 2. 02:41

테라폼을 이용해서 AWS infrastructure를 build할 수 있다. EC2 instance를 빌드하는 것을 시작으로한다. https://www.youtube.com/watch?v=SLB_c_ayRMo&t=2694s ## Setup Guide 1. Setup AWS Create an account 2. Install Terraform Download - Windows binary - Extract all - copy the file and paste into an appropriate directory to make it an excutable file. "C:\terraform" create a new terraform folder. Open terminal and type terraform -..

데이터 과학 2024. 2. 1. 21:14

thread_list = [] for hash_path in hash_path_list: hash_path.replace("/","") thread = threading.Thread(target=storage.download_image_from_s3_to_temporary_directory_using_cdn, args=(hash_path, path)) thread.start() thread_list.append(thread) for thread in thread_list: thread.join() thread_list를 생성하고, 각각의 hash_path_list에서 hash_path를 읽어온 후에 "/"를 공백으로 대체한다. 각각의 thread는, threading의 thread이고, 그 target는..

데이터 과학 2024. 1. 23. 20:18

r'\bbb\s*\d{1,2}/\d{4}\b' \b : 단어의 경계를 나타내는 특수문자이다. 단어의 시작이나 끝에 배치된다. r'\b XXX \b' 시작과 끝을 나타내는 것. bb : 문자열에서 'bb'를 정확하게 일치시킨다. \s* : 공백 문자를 나타내고, *는 와일드카드로 0번 이상의 발생을 의미한다. bb공백 1개이상 \d{1,2} : 1자리 또는 2자리 숫자와 일치. / : 슬래시 문자 자체와 일치 bb또는 BB로 시작하여 공백이 하나이상 존재하고, 1자리 또는 2자리 숫자가 존재하는 경우 그리고 슬래시가 존재. bb 01/ 또는 bb 1/ 까지 커버. \d{4} : 4자리의 숫자와 일치. bb 01/2023 또는 bb 1/2023 를 커버 \b로 마무리 엔딩. 그렇다면 위의 패턴으로 bb 01..

데이터 과학 2024. 1. 5. 22:44

1. MLFlow Tracking : 학습 결과 추적하고, 다양한 프레임워크에서 동작할 수 있는 학습 코드의 재현성 Projects : 프롲게트의 코드, 환경 설정, 종속성 등 관리 Models : 학습된 머신러닝 모델 관리, 모델 배포 Registry : 모델 버전 관리, 공동 작업 모델 저장소 제공 모델 개발과 관리에 필요한 다양한 기능 제공. 2. KubeFlow 머신러닝 모델 개발과 배포를 위한 end to end 솔루션 제공 Distributed Training : Kubeflow는 Tf를 비롯한 다양한 머신러닝 라이브러리와 프레임워크 지원, 분산 트레이닝을 통해 대규모 데이터셋 처리 가능 Pipeline : 각 단계를 파이프라인으로 정의하고, 각 단계를 자동화 제공 Model Serving :..

데이터 과학 2024. 1. 5. 03:07