Taeyoon.Kim.DS

해당 이슈를 해결하기 위해서 OCR enabled product는 t3.large에 queue가 연결되도록 한다. 1. Run prediction 2. SWOOP exports prediction json 3. SWOOP send a queue to SQS. You can check the export queues from Resque. 4. EC2 instance picks up a queue from SQS - ai-heavy-input-queue (t3.large) / ai-input-queue (t3.medium) 5. EC2 instance completes prediction and send a queue to SQS - ai-output-queue. If failes, ai-dead-lett..

데이터 과학 2023. 11. 2. 19:00

데이터셋에 대해서 훈련 모델을 S3에 다운로드 받고난 후에 fingerprint라는 특수한? 지문을 남기지 않아서 이후에 TF에서 모델을 다운로드 받아서 추론에 사용할 때 핑거프린트없음. 저장된 모델 다운로드 받기를 진행하겠음 이것 같다. 만약 지문이 이미 있는 상태라면 - 지문은 캐싱 같은걸까? 다운로드 안받고 그대로 그 지문을 이용할것이다. 느낌상으로 지문은 이미 압축이 풀어져있는 numerical values의 나열이라면 saved model은 당연히 압축파일이고 다운로드받은 후에 압축 해제한 후 일련의 과정을 거쳐야 할테니 시간이 더 오래 걸릴 것이다. https://fossies.org/linux/tensorflow/tensorflow/python/saved_model/load.py tensor..

데이터 과학 2023. 11. 2. 18:56

Opencv는 참 개떡같은 library인데, 설치시에는 pip install python-opencv로 해줘야하고 import는 cv2로 해줘야하는데 부를때는 opencv라고 부른다. 컴퓨터 비전을 튜토리얼이라도 돌려본 사람에게는 대부분 확인하게 되는 error가 libGL.so.1 없음 에러이다. 공부하는 단계에서는 튜토리얼이나 강의를 따라하니까 구글 콜랩이나 캐글, 아마존 세이지메이커 등에서 돌려볼테고 각 환경이 해당 파일까지 미리 다운로드 한 상태라면 모르겠지만, 아무튼 저런 류의 에러는 항상 나게되고, 항상 구글에 검색하게 된다. 설명: libGL.so.1 에러는 OpenGL 라이브러리와 관련된 에러입니다. libGL.so.1은 OpenGL 라이브러리의 공유 객체 파일을 가리키며, 이 파일이 시..

데이터 과학 2023. 11. 2. 18:50

Feature Engineering in Machine Learning is the process of enhancing, selecting, and transforming the attributes (features) of the training data to improve model accuracy and efficiency. Features are the attributes used to train the model, such as a person's age, weight, or address when predicting their income. Not all features are equally relevant, so part of Feature Engineering is selecting and..

AWS Certified Machine Learning Specialty 2023. 11. 1. 22:52

https://fossies.org/linux/tensorflow/tensorflow/python/saved_model/load.py tensorflow: tensorflow/python/saved_model/load.py | Fossies fossies.org Tf.python.saved_model.load 파일에서 해당 라인을 찾을 수 있다. 먼저, 일반적인 컨텍스트에서 "fingerprinting"이나 "지문"은 데이터나 객체의 고유한 표현 또는 식별자를 의미합니다. 데이터의 지문을 생성하면 해당 데이터의 작은 바이트 크기의 고유한 값(보통 해시 값)을 얻을 수 있습니다. 이 값은 원본 데이터와 항상 일치해야 하며, 원본 데이터에 아주 작은 변경이 발생하더라도 완전히 다른 지문 값이 생성됩니다. T..

데이터 과학 2023. 11. 1. 20:58

Hadoop consists of modules like the HDFS file system, YARN, and MapReduce, all built upon Hadoop-core. HDFS (Hadoop Distributed File System) stores data across cluster instances for scalability and fault tolerance. YARN (Yet Another Resource Negotiator) introduced in Hadoop 2.0, manages cluster resources. MapReduce is a framework for parallel data processing. It consists of mapper and reducer fu..

AWS Certified Machine Learning Specialty 2023. 10. 31. 23:00

Elastic MapReduce (EMR) is a managed Hadoop framework that runs on EC2 instances. Despite its name, which references the older MapReduce component of Hadoop, EMR encompasses more than just Hadoop. Technologies like Spark, Hbase, Presto, Flink, Hive, and more can be pre-installed with EMR. EMR Notebooks are similar to Jupyter Notebooks and offer integration with various AWS services. EMR is signi..

AWS Certified Machine Learning Specialty 2023. 10. 31. 22:26

docker container에서 pipfile로 library를 관리하는데, 내 로컬 머신에서는 gpu 가능한 라이브러리를 사용하고, AWS의 EC2-instance에서는 cpu 가능한 라이브러리를 사용하도록 하고 싶어. 예를 들어, EC2에서 torch = {version = "==1.13.1+cpu", index = "downloadpytorch"} 를 사용하고, 내 로컬 머신에서는 torch = ">=1.7.0를 사용하고 싶어. pipenv install --deploy 이런기능과 pipenv install --dev 이런기능이 있다는데 어떻게 해야할까? pipenv install --deploy는 Pipfile.lock에 지정된 의존성을 설치합니다. 따라서 미리 만들어진 Pipfile.lock에..

데이터 과학 2023. 10. 31. 20:20