Multimodal GenAI RAG Apps from Udemy

This is Part 2 of the Practical GenAI Sequel.

The objective of the sequel is to prepare you to be a professional GenAI engineer/developer. I will take you from the ground-up in the realm of LLMs and GenAI, starting from the very basics to building working and production level apps.

The spirit of the sequel is to be “hands-on”. All examples are code-based, with final projects, built step-by-step either in python, Google Colab, and deployed in streamlit.

By the end of the courses sequel, you will have built chatgpt clone, Midjourney clone, Chat with your data app, Youtube assistant app, Ask YouTube Video, Study Mate App, Recommender system, Image Description App with GPT-V, Image Generation app with DALL-E and StableDiffusion, Video commentator app using Whisper and others.

We will cover prompt engineering approaches, and use them to build custom apps, that go beyond what ChatGPT knows. We will use OpenAI APIs, LangChain and many other tools.

We will build together different applications using streamlit as our UI and cloud deployment framework. Streamlit is known of its ease of use, and easy python coding.

With the power of GPT models, either by OpenAI, or opensource (like Llama or Mixtral on Huggingface), we will be able to build interesting applications, like chatting with your documents, chatting with youtube videos, building a state-of-the art recommender systems, video auto commentator and translator from one voice to another.

We will mix modalities, like Image with GPT-V and DALL-E, Text with ChatGPT: GPT3.5 and GPT4, and voice with Whisper.

We will be able to feed the AI models with our custom data, that is not available on the internet, and open models like ChatGPT do not know about. We will cover advanced and state-of-the art topics like RAG models, and LLM Agents.

What's inside

Syllabus

Overview of Practical GenAI Sequel

Practical GenAI Sequel Contents

Part 2 Introduction

Introduction

https://drive.google.com/file/d/10828On_AoPWq72wUORUqVsOylLQionwu/view?usp=sharing

Traffic lights

Read about what's good

what should give you pause

and possible dealbreakers

Covers Retrieval Augmented Generation (RAG) models and Large Language Model (LLM) Agents, which are state-of-the-art topics for building intelligent applications

Emphasizes hands-on, code-based examples using Python and Google Colab, which are standard tools for practical GenAI development and deployment

Uses Streamlit as the UI and cloud deployment framework, which is known for its ease of use and Python coding, facilitating rapid application development

Explores multimodal applications, combining image processing with GPT-V and DALL-E, text processing with GPT-3.5 and GPT-4, and voice processing with Whisper

Focuses on building custom applications that go beyond the capabilities of ChatGPT, using OpenAI APIs, LangChain, and other tools to create unique solutions

Requires familiarity with Python, Google Colab, and Streamlit, which may necessitate additional learning for individuals without prior experience in these tools

Reviews summary

تطبيقات عملية في genai متعدد الوسائط

يقول المتعلمون أن الدورة تقدم تدريبًا عمليًا وقويًا على بناء تطبيقات GenAI متعددة الوسائط باستخدام تقنيات مثل RAG. يبرز الجانب العملي في بناء مشاريع واقعية وتطبيق أدوات مثل LangChain وStreamlit. يجد البعض أن المحتوى شامل ومواكب لأحدث التطورات في المجال. قد يجد المبتدئون بعض الأجزاء تتطلب جهدًا إضافيًا. هذه الدورة موجهة بشكل كبير نحو تطوير المهارات العملية للمهندسين والمطورين الطموحين في مجال الذكاء الاصطناعي التوليدي.

يقدم مفاهيم متقدمة مثل RAG وتعدد الوسائط.

"فهمت بعمق كيف يعمل نظام RAG وكيف أطبقه على بياناتي الخاصة."

"تطبيقات الدمج بين النصوص والصور والأصوات تفتح آفاقًا جديدة لي."

"الدورة تشرح أنواعًا مختلفة من تطبيقات GenAI تتجاوز الدردشة."

التركيز على البناء العملي للتطبيقات.

"أتعلم كيفية بناء تطبيقات GenAI حقيقية خطوة بخطوة من الصفر."

"المشاريع التطبيقية هي الجزء الأهم بالنسبة لي لتعزيز محفظتي."

"أقدر النهج العملي في استخدام أدوات مثل Streamlit و Colab مباشرة."

قد يجد المبتدئون المحتوى متقدمًا بعض الشيء.

"كونها الجزء الثاني، من الأفضل أن تكون قد أخذت الجزء الأول أو لديك أساس قوي."

"بعض الموضوعات المتقدمة تحتاج إلى تركيز شديد وقد تتطلب بحثًا إضافيًا."

"الوتيرة قد تكون سريعة إذا لم تكن معتادًا على هذه التقنيات."

Activities

Be better prepared before your course. Deepen your understanding during and after it. Supplement your coursework and achieve mastery of the topics covered in Multimodal GenAI RAG Apps with these activities:

مراجعة أساسيات بايثون

Show steps

تأكد من أن لديك فهمًا قويًا لأساسيات بايثون قبل البدء في الدورة. سيساعدك ذلك على فهم الأمثلة البرمجية بشكل أفضل.

Browse courses on Python

Show steps

راجع هياكل البيانات الأساسية في بايثون (القوائم، القواميس، المجموعات).
تدرب على كتابة الدوال والفئات البسيطة.
استعرض أساسيات التعامل مع الملفات في بايثون.

دراسة حول قواعد البيانات المتجهة

Show steps

تعرف على قواعد البيانات المتجهة وكيفية استخدامها في تطبيقات RAG. سيساعدك ذلك على بناء تطبيقات أكثر كفاءة.

View Putting Knowledge to Work on Amazon

Show steps

ابحث عن كتاب أو مقالات حول قواعد البيانات المتجهة.
اقرأ عن المفاهيم الأساسية لقواعد البيانات المتجهة.
تعرف على كيفية استخدام قواعد البيانات المتجهة في تطبيقات RAG.

قراءة حول هندسة المطالبات

Show steps

تعرف على هندسة المطالبات لتحسين التفاعل مع نماذج GenAI. سيساعدك ذلك على بناء تطبيقات أكثر فعالية.

View Putting Knowledge to Work on Amazon

Show steps

ابحث عن كتاب أو مقالات حول هندسة المطالبات.
اقرأ عن التقنيات المختلفة لتحسين المطالبات.
جرب بعض الأمثلة بنفسك.

Three other activities

Expand to see all activities and additional details

Show all six activities

إنشاء مدونة حول RAG

Show steps

اكتب مدونة تشرح مفهوم RAG (جيل الاسترجاع المعزز) وكيفية استخدامه في تطبيقات GenAI. سيساعدك ذلك على ترسيخ فهمك للمفهوم.

Show steps

ابحث عن معلومات حول RAG.
اكتب مدونة تشرح المفهوم بطريقة بسيطة وسهلة الفهم.
انشر المدونة على موقعك أو على منصة أخرى.

بناء تطبيق دردشة بسيط باستخدام LangChain

Show steps

ابدأ مشروعًا صغيرًا لبناء تطبيق دردشة بسيط باستخدام LangChain. سيساعدك ذلك على فهم كيفية عمل LangChain وكيفية استخدامه لبناء تطبيقات GenAI.

Show steps

قم بتثبيت LangChain و dependencies المطلوبة.
أنشئ تطبيق دردشة بسيط يمكنه الرد على الأسئلة.
جرب ميزات LangChain المختلفة.

التدرب على هندسة المطالبات

Show steps

تدرب على هندسة المطالبات من خلال تجربة مطالبات مختلفة مع نماذج لغوية كبيرة. سيساعدك ذلك على تحسين مهاراتك في هندسة المطالبات.

Show steps

اختر نموذجًا لغويًا كبيرًا (مثل GPT-3).
جرب مطالبات مختلفة وشاهد كيف يستجيب النموذج.
حلل النتائج وحاول تحسين المطالبات.

Career center

Learners who complete Multimodal GenAI RAG Apps will develop knowledge and skills that may be useful to these careers:

مهندس الذكاء الاصطناعي التوليدي

يُعد مهندس الذكاء الاصطناعي التوليدي متخصصًا في تطوير تطبيقات الذكاء الاصطناعي التي تنشئ بيانات جديدة، مثل النصوص والصور ومقاطع الفيديو. يركز هذا المسار التعليمي تحديدًا على إعدادك لتكون مهندس ذكاء اصطناعي توليدي محترف، حيث يأخذك من الأساسيات إلى بناء تطبيقات عملية وعلى مستوى الإنتاج. ومن خلال خبرتك في هذا المجال، يمكنك بناء تطبيقات مثل استنساخ ChatGPT، واستنساخ Midjourney، وتطبيق الدردشة مع بياناتك، وتطبيق YouTube Assistant، وتطبيق Ask YouTube Video، وتطبيق Study Mate، ونظام التوصية، وتطبيق وصف الصور باستخدام GPT-V، وتطبيق إنشاء الصور باستخدام DALL-E وStableDiffusion، وتطبيق معلق الفيديو باستخدام Whisper وغيرها الكثير. هذا المسار ذو أهمية خاصة لأي شخص يتطلع إلى بناء تطبيقات توليدية متقدمة.

See salaries and explore the career path for مهندس الذكاء الاصطناعي التوليدي

مهندس مطالبات الذكاء الاصطناعي

يختص مهندس مطالبات الذكاء الاصطناعي في تصميم وتطوير وتعديل المطالبات النصية التي توجه نماذج اللغة الكبيرة (LLMs) لإنتاج النتائج المرجوة. يغطي هذا المساق مناهج هندسة المطالبات ويستخدمها لبناء تطبيقات مخصصة تتجاوز ما تعرفه ChatGPT. قد وجد مهندس الذكاء الاصطناعي التوليدي أن هذا المسار مفيد جدًا، لأنه يركز على بناء تطبيقات عملية من الألف إلى الياء. الخبرة العملية التي اكتسبتها من بناء تطبيقات متنوعة باستخدام Streamlit، بالإضافة إلى تغطية نماذج RAG (جيل الاسترجاع) وعملاء LLM، تجعله ذا قيمة لأي شخص يتطلع إلى إتقان هندسة المطالبات لتطبيقات LLM.

See salaries and explore the career path for مهندس مطالبات الذكاء الاصطناعي

مطور روبوتات المحادثة

يقوم مطورو روبوتات المحادثة بتصميم وإنشاء الروبوتات التي يمكنها المشاركة في محادثات مع البشر. هذا المساق مفيد بشكل خاص للمهتمين بتطوير روبوتات المحادثة، لأنه يغطي بناء استنساخ ChatGPT وتطبيقات الدردشة مع البيانات. يمكن للخبرة العملية المكتسبة من بناء تطبيقات متنوعة باستخدام Streamlit أن تساعد مطوري روبوتات المحادثة على بناء واجهات سهلة الاستخدام لروبوتاتهم. بالإضافة إلى ذلك، فإن تغطية المساق لنماذج RAG (جيل الاسترجاع) وعملاء LLM تجعله ذا قيمة لأي شخص يتطلع إلى تطوير روبوتات محادثة متطورة يمكنها الوصول إلى البيانات المخصصة.

See salaries and explore the career path for مطور روبوتات المحادثة

مطور تطبيقات التعلم العميق

يركز مطور تطبيقات التعلم العميق على بناء الأنظمة التي تستفيد من نماذج التعلم العميق لأداء مهام معقدة، مثل فهم اللغة الطبيعية والتعرف على الصور. هذا المساق مفيد بشكل خاص للمهتمين بتطوير تطبيقات التعلم العميق، لأنه يغطي استخدام واجهات برمجة تطبيقات OpenAI، وLangChain، وأدوات أخرى. يوفر المساق أيضًا خبرة عملية في بناء تطبيقات متنوعة باستخدام Streamlit، مما يجعله مفيدًا بشكل خاص للمهتمين بتطوير واجهات المستخدم المستندة إلى Python. بالإضافة إلى ذلك، فإن تغطية المساق لنماذج RAG (جيل الاسترجاع) وعملاء LLM يجعله ذا قيمة لأي شخص يتطلع إلى تطوير أنظمة تعلم عميق متطورة.

See salaries and explore the career path for مطور تطبيقات التعلم العميق

مهندس بيانات الذكاء الاصطناعي

يعتني مهندس بيانات الذكاء الاصطناعي بتجهيز البيانات وتشكيلها وتخزينها لتكون جاهزة للاستهلاك من قبل نماذج الذكاء الاصطناعي. يغطي هذا المساق موضوعات متقدمة وحديثة مثل نماذج RAG وعملاء LLM (نماذج اللغة الكبيرة)، مما يجعله ذا قيمة خاصة لأي شخص يتطلع إلى تطوير أنظمة بيانات الذكاء الاصطناعي المتطورة. هذه المعرفة ضرورية للمهندسين الذين يريدون التأكد من أن نماذج الذكاء الاصطناعي يمكنها الوصول إلى بيانات مخصصة غير متوفرة على الإنترنت.

See salaries and explore the career path for مهندس بيانات الذكاء الاصطناعي

مهندس رؤية الحاسوب

يختص مهندس رؤية الحاسوب في تطوير الأنظمة التي تمكن الحواسيب من "رؤية" وتفسير الصور والفيديوهات. هذا المساق مفيد للمهتمين بتطوير تطبيقات رؤية الحاسوب، لأنه يغطي استخدام نماذج GPT-V وDALL-E لإنشاء تطبيقات مثل تطبيق التعليقات التلقائية. إن الخبرة العملية في بناء تطبيقات متنوعة باستخدام Streamlit، بالإضافة إلى تغطية نماذج الذكاء الاصطناعي متعددة الوسائط، تجعل هذا المساق قيِّمًا لأي شخص يتطلع إلى تطوير أنظمة متطورة لرؤية الحاسوب يمكنها الجمع بين النصوص والصور. بالإضافة إلى ذلك، يدرس المساق إنشاء تطبيقات مثل تطبيق التعليقات التلقائية وتطبيق YouTube Transcriber and Translator.

See salaries and explore the career path for مهندس رؤية الحاسوب

مهندس تعلم الآلة

يقوم مهندس تعلم الآلة بتصميم وتطوير ونشر نماذج تعلم الآلة. يقدم هذا المساق أساسا قويا في بناء تطبيقات GenAI العملية. يغطي المساق موضوعات مثل نماذج RAG و LLM، وهي ضرورية لمهندسي تعلم الآلة الذين يعملون في مجالات مثل معالجة اللغة الطبيعية ورؤية الحاسوب. بالإضافة إلى ذلك، تركز الطبيعة العملية للمساق على بناء المشاريع وتوفير الخبرة العملية التي يحتاجها مهندسو تعلم الآلة لبناء وتوزيع نماذج تعلم الآلة الفعالة.

See salaries and explore the career path for مهندس تعلم الآلة

باحث في مجال الذكاء الاصطناعي

يقوم باحثو الذكاء الاصطناعي بإجراء البحوث لتطوير تقنيات جديدة في مجال الذكاء الاصطناعي. إذا كنت تتمنى أن تكون باحثًا في مجال الذكاء الاصطناعي، فهذا المساق قد يكون مفيدًا، لأنه يغطي موضوعات متقدمة وحديثة مثل نماذج RAG وعملاء LLM (نماذج اللغة الكبيرة). إن فهم هذه التقنيات ضروري للباحثين الذين يسعون إلى تطوير أنظمة ذكية قادرة على الوصول إلى البيانات المخصصة والتفكير فيها. بالإضافة إلى ذلك، توفر الخبرة العملية في بناء تطبيقات متنوعة فرصة قيمة لتطبيق المفاهيم البحثية في بيئة عملية.

See salaries and explore the career path for باحث في مجال الذكاء الاصطناعي

أخصائي علم البيانات

يتخصص أخصائيو علم البيانات في تحليل وتفسير البيانات المعقدة لاستخلاص رؤى قيمة ودعم اتخاذ القرارات. الدورة مفيدة بشكل خاص لأولئك المهتمين بأنظمة التوصية المعتمدة على الذكاء الاصطناعي، والتي يمكن استخدامها لتحسين رؤى البيانات. تساعد الخبرة العملية المكتسبة من بناء تطبيقات متنوعة في فهم كيفية تطبيق تقنيات الذكاء الاصطناعي المتقدمة على تحديات تحليل البيانات.

See salaries and explore the career path for أخصائي علم البيانات

عالِم بيانات

يحلل علماء البيانات مجموعات بيانات كبيرة لاستخلاص رؤى واتخاذ قرارات مستنيرة. قد يكون هذا المساق ذا قيمة لعلماء البيانات، لأنه يغطي بناء أنظمة توصية تعتمد على الذكاء الاصطناعي، والتي يمكن استخدامها لتحسين توصيات البيانات. بالإضافة إلى ذلك، فإن الخبرة العملية في بناء تطبيقات متنوعة باستخدام Streamlit، جنبًا إلى جنب مع تغطية نماذج RAG، تجعل هذا المساق قيمًا لأي عالم بيانات يتطلع إلى تطبيق تقنيات الذكاء الاصطناعي المتطورة على مشكلات تحليل البيانات.

See salaries and explore the career path for عالِم بيانات

محلل دعم الذكاء الاصطناعي

يستفيد محلل دعم الذكاء الاصطناعي من أدوات وتقنيات الذكاء الاصطناعي لتحسين عمليات دعم العملاء. يغطي هذا المساق تطبيقات عملية مثل chatbot، ويتضمن أيضًا تقنيات أساسية مثل نماذج RAG. المعرفة التي ستحصل عليها تبني أساسا قويا للمهنيين الذين يرغبون في تحسين وتطوير قدرات الذكاء الاصطناعي لدعم العملاء. يقدم هذا المساق أساسًا جيدًا في هندسة الذكاء الاصطناعي التوليدي، وهو مفيد لتعزيز أنظمة دعم العملاء الحالية.

See salaries and explore the career path for محلل دعم الذكاء الاصطناعي

مهندس أتمتة

يستخدم مهندسو الأتمتة تقنيات مختلفة لأتمتة العمليات. قد يجدون أن هذا المساق مساعدة في بناء تطبيقات يمكنها أتمتة مجموعة متنوعة من المهام. بالإضافة إلى ذلك، قد تكون الخبرة العملية في بناء تطبيقات مختلفة باستخدام Streamlit مفيدة للمهندسين الذين يتطلعون إلى تطوير واجهات سهلة الاستخدام لأتمتة مهامهم. الخبرة العملية في إنشاء مجموعة متنوعة من التطبيقات باستخدام Streamlit، إلى جانب تغطية نماذج جيل الاسترجاع وعملاء LLM، تجعلها ذات قيمة بالغة.

See salaries and explore the career path for مهندس أتمتة

مهندس برمجيات

يبني مهندسو البرمجيات ويحافظون على أنظمة البرمجيات. قد يجد مهندسو البرمجيات أن هذا المساق ذا قيمة لأنه يغطي كيفية بناء تطبيقات GenAI العملية. تعد تجربة بناء أنواع مختلفة من التطبيقات باستخدام Streamlit مفيدة لأولئك المهندسين الذين يتطلعون إلى دمج نماذج GenAI في تطبيقاتهم.

See salaries and explore the career path for مهندس برمجيات

مستشار الذكاء الاصطناعي

يقدم مستشارو الذكاء الاصطناعي الخبرة للعملاء، ويساعدونهم على فهم وتنفيذ حلول الذكاء الاصطناعي. على مستوى استراتيجي، قد يكون هذا المساق مفيدًا. تغطية المساق لنماذج RAG تجعلها قيمة بشكل خاص لأي خبير استشاري يتطلع إلى تقديم مشورة بشأن تقنيات الذكاء الاصطناعي المتقدمة.

See salaries and explore the career path for مستشار الذكاء الاصطناعي

مدير المنتج

يقود مديرو المنتجات تطوير المنتجات الجديدة، وغالبًا ما يحتاجون إلى فهم شامل للتقنيات التي تعمل عليها منتجاتهم. قد يكون هذا المساق مفيدًا لمديري المنتجات، لأنه يغطي تطبيقات GenAI العملية. من خلال فهم أساسيات كيفية عمل هذه النماذج وكيفية بنائها، يمكن لمديري المنتجات اتخاذ قرارات أفضل بشأن تطوير المنتج.

See salaries and explore the career path for مدير المنتج

Reading list

We've selected one books that we think will supplement your learning. Use these to develop background knowledge, enrich your coursework, and gain a deeper understanding of the topics covered in Multimodal GenAI RAG Apps.

Putting Knowledge to Work

Save

يوفر هذا الكتاب نظرة عامة شاملة على هندسة المطالبات، وهي مهارة أساسية لبناء تطبيقات GenAI فعالة. يغطي الكتاب تقنيات مختلفة لتحسين المطالبات وتحسين أداء نماذج اللغة الكبيرة. إنه مفيد بشكل خاص لفهم كيفية تصميم المطالبات التي تتفاعل بشكل فعال مع نماذج مثل GPT-3 و GPT-4. هذا الكتاب هو مرجع قيم لتعزيز فهمك لهندسة المطالبات.

Putting Knowledge to Work

Paperback

Check price

Putting Knowledge to Work

Kindle Edition

Check price

Multimodal GenAI RAG Apps

What's inside

Syllabus

Traffic lights

Save this course

Reviews summary

تطبيقات عملية في genai متعدد الوسائط

Activities

Career center

Reading list

Share

Similar courses