Generative AI & LLMs

https://www.coursera.org/learn/generative-ai-with-llms/lecture/IrsEw/generative-ai-llms

Generative AI & LLMs - Week 1 | Coursera

Generative AI Overview: Generative AI involves machines that can create content that mimics human abilities, such as chatbots, image generation, or code development. These models learn from vast datasets and find statistical patterns to generate content.

Foundation Models: LLMs are the foundation models for generative AI. They are trained on trillions of words over extended periods with significant computational resources. The more parameters a model has, the more sophisticated tasks it can handle.

Representation of LLMs: LLMs are represented in the course as purple circles. The labs will use an open-source model called "flan-T5" for language-related tasks.

Focus on Language Models: While generative AI encompasses various modalities like images, audio, and video, this course specifically concentrates on large language models and their applications in natural language generation.

Interacting with LLMs: Interacting with LLMs is different from traditional programming. Instead of writing formalized code, you provide natural language instructions or prompts to the models. The model's response is called a completion, and the process is referred to as inference.

Context Window: LLMs have a context window, which is the space or memory available for processing prompts. This window can typically hold a few thousand words, but it varies between models.

Example of Prompt and Completion: An example illustrates how you ask a question about the location of Ganymede in the solar system. The prompt is processed by the model, which generates a completion containing the answer.

 

-----------------------------------------------------------------------------------------------------------------------------------------------------------------

Generative AI 개요: 생성적 AI는 인간의 능력을 모방하는 콘텐츠를 생성할 수 있는 기계를 포함합니다. 이러한 모델은 방대한 데이터셋에서 학습하고 통계적 패턴을 찾아 콘텐츠를 생성합니다.

Foundation Models: LLMs는 생성적 AI의 기초 모델입니다. 이 모델은 트리리언 워드(trillions of words) 이상의 데이터를 긴 시간과 상당한 컴퓨팅 자원을 사용하여 학습합니다. 모델이 가지는 매개변수가 많을수록 더 복잡한 작업을 수행할 수 있습니다.

LLMs 표현: 이 수업에서 LLMs는 보라색 원으로 표현됩니다. 연습에서는 "flan-T5"라는 오픈 소스 모델을 사용하여 언어 관련 작업을 진행합니다.

언어 모델에 중점: 생성적 AI는 이미지, 오디오 및 비디오와 같은 다양한 모달리티를 포함하지만, 이 수업은 특히 대규모 언어 모델 및 자연어 생성에 중점을 둡니다.

LLMs와 상호 작용: LLMs와 상호 작용하는 방법은 전통적인 프로그래밍과 다릅니다. 형식화된 코드를 작성하는 대신 자연어 지시 또는 프롬프트를 모델에 제공합니다. 모델의 응답은 완료(completion)로 불리며 이 과정은 추론(inference)이라고 합니다.

컨텍스트 창: LLMs는 컨텍스트 창을 가지며, 프롬프트를 처리하는 데 사용되는 공간 또는 메모리입니다. 이 창은 일반적으로 몇 천 단어를 포함할 수 있지만 모델에 따라 다릅니다.

프롬프트 및 완료 예제: Ganymede의 태양계 위치에 관한 질문을 어떻게 하는지에 대한 예제가 모델을 통해 처리되고 답변이 포함된 완료가 생성됩니다.