[AWS] Dive Into OpenSearch Service: Hands-on workshop

AWS OpenSearch Service

Amazon Web Services에서 제공하는 완전 관리형 분산 검색 및 분석 엔진입니다. 이 서비스는 Elasticsearch 및 OpenSearch를 기반으로 하며, 대규모 데이터 세트에 대한 실시간 검색 및 분석 기능을 제공합니다. AWS OpenSearch Service는 웹사이트 검색, 로그 및 이벤트 데이터 분석, 애플리케이션 모니터링, 그리고 전체 텍스트 검색 기능 등 다양한 사용 사례를 지원합니다.

완전 관리형, 확장성, 보안, 고가용성, 모니터링 및 로깅을 제공.

 

Elastic Search

Elasticsearch는 Apache Lucene 기반의 오픈 소스, 분산, RESTful 검색 엔진입니다. 대량의 데이터를 신속하게 저장, 검색, 분석할 수 있도록 설계되었습니다. Elasticsearch는 복잡한 검색 기능을 쉽게 구현할 수 있게 해주며, 빅 데이터 분석과 텍스트 검색에 널리 사용됩니다. JSON 형식의 문서를 사용하여 데이터를 인덱싱하고, HTTP 웹 인터페이스와 스키마리스(JSON) 데이터 모델을 통해 데이터와 상호작용합니다.

분산 시스템, 실시간 검색, 다양한 검색 기능, 유연성과 확장성, 강력한 API 지원.

Elasticsearch를 중심으로 구성된 Elastic Stack(Elasticsearch, Logstash, Kibana, Beats)은 데이터 수집부터 시각화까지의 전체 과정을 지원하는 솔루션으로 널리 사용되고 있습니다.

 

* Introduction to OpenSearch & Amazon OpenSearch Service

Search/Vector Search/ Security Analytics/ Log Analytics/ Observability

e-commerce platform:

customers find the right product quickly. 

Document portal such as scientific research articles, investement analysis, or health records.

Recommendation engine

* Log Analytics

 

Architecture (Provisioned)

 

OpenSearch - JSON format acceptance.

Amazon OpenSearch Ingestion - Deduplicate, sample, filter data, enforce data quality, protect sensitive data

Zero-ETL integration with DynamoDB

Ingesting data was the problem, now Zero-ETL integration with DynamoDB is helpful.

Users have the best search experiences.

Hybrid search

Fine tuned models

Sparse vector retrieval

Multimodal search

 

Standard Create -> Dev/test --> Domain without standby --> stay 1.3 version. Leave the IAM role. Select IPV4 not Dual Stack.