We may earn an affiliate commission when you visit our partners.
Course image
Udemy logo

Open-Source LLMs

Unzensierte & sichere KI lokal auf dem PC

Arnold Oberleiter

ChatGPT ist gut und recht. Aber ist dir schon mal aufgefallen, dass es sehr viele Zensuren gibt, man in politische Richtungen gedrückt wird, teilweise harmlose Fragen nicht beantwortet werden und dass unsere Daten bei OpenAI eventuell nicht sicher sind?

Read more

ChatGPT ist gut und recht. Aber ist dir schon mal aufgefallen, dass es sehr viele Zensuren gibt, man in politische Richtungen gedrückt wird, teilweise harmlose Fragen nicht beantwortet werden und dass unsere Daten bei OpenAI eventuell nicht sicher sind?

Genau hier können Open-Source LLMs wie Llama3, Mistral, Grok, Falkon, Phi3 und Command R+ helfen.

Bist du bereit, die Feinheiten von Open-Source LLMs zu meistern und ihr volles Potenzial für verschiedene Anwendungen zu nutzen, von Datenanalyse bis zur Erstellung von Chatbots und KI-Agenten? Dann ist dieser Kurs für dich.

Einführung in Open-Source LLMs

Dieser Kurs bietet eine umfassende Einführung in die Welt der Open-Source LLMs. Du lernst die Unterschiede zwischen Open-Source und Closed-Source Modellen kennen und erfährst, warum Open-Source LLMs eine attraktive Alternative darstellen. Themen wie ChatGPT, Llama, und Mistral werden ausführlich behandelt. Außerdem wirst du lernen, welche LLMs es gibt und wie du die besten Modelle für deine Bedürfnisse auswählst. Ein besonderes Augenmerk liegt auf den Nachteilen von Closed-Source LLMs und den Vor- und Nachteilen von Open-Source LLMs wie Llama3 und Mistral.

Praktische Anwendung von Open-Source LLMs

Der Kurs zeigt dir den einfachsten Weg, Open-Source LLMs lokal auszuführen und was du dafür benötigst. Du erfährst alles über die Voraussetzungen, die Installation von LM Studio und alternative Methoden zum Betrieb von LLMs. Zudem wirst du lernen, wie du Open-Source-Modelle in LM Studio nutzt, den Unterschied zwischen zensierten und unzensierten LLMs verstehst und verschiedene Anwendungszwecke erkundest. Auch das Finetuning eines Open-Source-Modells mit Huggingface oder Google Colab sowie die Nutzung von Vision-Modellen zur Bilderkennung werden behandelt.

Prompt Engineering und Cloud-Einsatz

Ein wichtiger Teil des Kurses ist das Prompt Engineering für Open-Source LLMs. Du wirst lernen, wie du HuggingChat als Interface nutzt, Systemprompts im Prompt Engineering einsetzt und grundlegende sowie fortgeschrittene Techniken des Prompt Engineerings anwendest. Der Kurs bietet dir auch Einblicke in die Erstellung eigener Assistenten in HuggingChat und die Nutzung von Open-Source LLMs mit schnellen LPU-Chips statt GPUs.

Function Calling, RAG und Vektordatenbanken

Erfahre, was Function Calling bei LLMs ist und wie du Vektordatenbanken, Embedding-Modelle und Retrieval-Augmented Generation (RAG) implementierst. Der Kurs zeigt dir, wie du Anything LLM installierst, einen lokalen Server einrichtest und einen RAG-Chatbot mit Anything LLM und LM Studio erstellst. Du wirst auch lernen, Function Calling mit Llama 3 und Anything LLM durchzuführen und Daten zusammenzufassen, zu speichern und mit Python zu visualisieren.

Optimierung und KI-Agenten

Für die Optimierung deiner RAG-Apps erhältst du Tipps zur Datenvorbereitung und effizienten Nutzung von Tools wie LlamaIndex und LlamaParse. Darüber hinaus wirst du in die Welt der KI-Agenten eingeführt. Du lernst, was KI-Agenten sind, welche Tools zur Verfügung stehen und wie du Flowise lokal mit Node.js installierst und nutzt. Der Kurs bietet dir auch praktische Einblicke in die Erstellung eines KI-Agenten, der Python-Code und Dokumentationen erstellt, sowie die Nutzung von Function Calling und Internetzugriff.

Weitere Anwendungen und Tipps

Abschließend bietet der Kurs eine Einführung in Text-to-Speech (TTS) mit Google Colab und das Finetuning von Open-Source LLMs mit Google Colab. Du erfährst, wie du GPUs bei Anbietern wie Runpod oder Massed Compute mietest, wenn dein lokaler PC nicht ausreicht. Zudem lernst du innovative Werkzeuge wie Microsoft Autogen und CrewAI kennen und wie du LangChain für die Entwicklung von KI-Agenten nutzt.

Nutze die transformative Kraft der Open-Source LLM-Technologie, um innovative Lösungen zu entwickeln und dein Verständnis ihrer vielfältigen Anwendungen zu erweitern. Melde dich noch heute an und beginne deine Reise, ein Experte in der Welt der großen Sprachmodelle zu werden.

Enroll now

What's inside

Learning objectives

  • Warum open-source llms? unterschiede, vorteile und nachteile von open-source und closed-source llms
  • Was sind llms wie chatgpt, llama, mistral, phi3, qwen2-72b-instruct, grok usw.
  • Welche llms gibt es und was soll ich verwenden? "die besten llms" finden
  • Voraussetzungen für die lokale nutzung von open-source llms
  • Installation und verwendung von lm studio, anything llm, ollama und alternative methoden zum betrieb von llms
  • Zensierte vs. unzensierte llms
  • Finetuning eines open-source-modells mit huggingface oder google colab
  • Vision (bilderkennung) mit open-source llms: llama3, llava & phi3 vision
  • Details zur hardware: gpu offload, cpu, ram und vram
  • Alles zu huggingchat: ein interface für die nutzung von open-source llms
  • Systemprompts im prompt engineering + function calling
  • Prompt engineering basics: semantic association, strukturierte & rollen-prompts
  • Groq: open-source llms mit schnellem lpu-chip statt gpu nutzen
  • Vektordatenbanken, embedding-modelle & retrieval-augmented generation (rag)
  • Erstellen eines lokalen rag-chatbots mit anything llm & lm studio
  • Verknüpfen von ollama & llama 3, und nutzung von function calling mit llama 3 & anything llm
  • Function calling zur datenzusammenfassung, speicherung und diagrammerstellung mit python
  • Nutzung weiterer funktionen von anything llm und externe apis.
  • Tipps für bessere rag-apps mit firecrawl für webseiten-daten, effizienteres rag mit llamaindex & llamaparse für pdfs und csvs.
  • Definition und verfügbare tools für ki-agenten, installation und nutzung von flowise lokal mit node (einfacher als langchain und langgraph).
  • Erstellung eines ki-agenten, der python-code und dokumentationen erstellt, sowie nutzung von ki-agenten mit function calling, internetzugriff und drei experten.
  • Hosting und nutzung: welchen ki-agenten solltest du bauen und externes hosting, text-to-speech (tts) mit google colab.
  • Finetuning von open-source llms mit google colab (alpaca + llama-3 8b, unsloth)
  • Mieten von gpus bei runpod oder massed compute.
  • Sicherheitsaspekte: jailbreaks und sicherheitsrisiken durch angriffe auf llms mit jailbreaks, prompt injections und data poisoning
  • Datenschutz und sicherheit deiner daten, sowie richtlinien zur kommerziellen nutzung und dem verkauf generierter inhalte.
  • Show more
  • Show less

Syllabus

Einleitung und Überblick
Willkommen
Kurs Überblick
Mein Ziel und ein paar Tipps
Read more
Erklärung zu den Links
Wichtige Links
Warum Open-Source LLMs? Unterschiede, Vorteile und Nachteile
Worum geht es in diesem Abschnitt?
Was sind LLMs wie ChatGPT, Llama, Mistral usw.
Welche LLMs gibt es und was soll ich verwenden? "Die besten LLMs" finden
Nachteile von Closed-Source LLMs wie ChatGPT, Gemini und Claude
Vor- und Nachteile von Open-Source LLMs wie Llama3, Mistral & mehr
Recap: Das solltest du nicht vergessen!
Der einfachste Weg, Open-Source LLMs lokal auszuführen & was man benötigt
Voraussetzungen für die lokale Nutzung von Open-Source LLMs
Installation von LM Studio und alternative Methoden zum Betrieb von LLMs
Open-Source-Modelle in LM Studio nutzen
Zensierte vs. unzensierte LLMs
Die Anwendungszwecke von LLMs
Finetuning eines Open-Source-Modells mit Huggingface oder Google Colab
Vision (Bilderkennung) mit Open-Source LLMs: Llama3, Llava & Phi3 Vision
Einige Beispiele zur Bilderkennung (Vision)
Mehr Details zur Hardware: GPU Offload, CPU, RAM und VRAM
Zusammenfassung und ein kurzer Ausblick
Prompt Engineering für Open-Source LLMs und deren Einsatz in der Cloud
HuggingChat: Ein Interface für die Nutzung von Open-Source LLMs
Systemprompts sind ein wichtiger Teil im Prompt Engineering + Function Callin
Prompt Engineering Basics: Semantic Association, strukturierte & Rollen-Prompts
Prompt Engineering für LLMs: Einfache Strategien und Tricks
Erstellung eigener Assistenten in HuggingChat.
Groq: Open-Source LLMs mit schnellem LPU-Chip statt GPU nutzen
Recap: das solltest du dir merken
Function Calling, RAG und Vektordatenbanken mit Open-Source LLMs
Was wird in diesem Abschnitt behandelt?
Was ist Function Calling bei LLMs
Vektordatenbanken, Embedding-Modelle & Retrieval-Augmented Generation (RAG)
Anything LLM installieren und einen lokalen Server einrichten
Lokaler RAG-Chatbot mit Anything LLM & LM Studio
Ollama & Llama 3 herunterladen, lokalen Server erstellen & verknüpfen
Function Calling mit Llama 3 & Anything LLM (Internet durchsuchen)
Function Calling, Daten zusammenfassen, speichern & Diagramme mit Python basteln
Weitere Funktionen von Anything LLM und externe APIs
UPDATE: Llama 3.1
RAG-App optimieren: Tipps zur Datenvorbereitung
Tipps für bessere RAG-Apps: Firecrawl für deine Daten aus Webseiten
Effizienteres RAG mit LlamaIndex & LlamaParse: Datenvorbereitung für PDFs & CSVs
LlamaIndex bring einfaches LlamaParse
Lokale KI-Agenten mit Open-Source LLMs
Was wird in diesem Abschnitt über KI-Agenten behandelt
KI-Agenten: Definition und verfügbare Tools (auch Opensource Tools sind dabei)
Flowise lokal mit Node.js: Opensource KI-Agenten (Installation von Node.js)
Installation von Flowise mit Node.js
Das Flowise-Interface: Einfacher als Langchain und LangGraph
Überblick von einem lokalen Rag ChatBot mit Langchain
Unser erster KI-Agent, der Python-Code und Documentationen erstellt
KI-Agenten mit Function Calling, Internetzugriff und drei Experten
Sagenhaft schnelle Inferenz mit der Groq-API
Welchen KI-Agenten solltest du bauen & externes Hosting
Rückblick: Das solltest du dir merken!
Finetuning, GPUs mieten, Open-Source TTS, das BESTE LLM finden & weitere Tipps
Worum ght es in deisem Abschnitt?
Text-to-Speech (TTS) mit Google Colab
Finetuning von Open-Source LLMs mit Google Colab: Alpaca + Llama-3 8b, Unsloth
GPU bei Runpod oder Massed Compute mieten, wenn der lokale PC nicht ausreicht
Was ist das beste Open-Source LLM, das ich verwenden sollte?
Rückblick: Das solltest du dir merken
Datenschutz, Sicherheit und wie geht es weiter?
Jailbreaks: Sicherheitsrisiken durch Angriffe auf LLMs mit Prompts
Prompt Injections als Angriff auf Opensource LLMs
Data Poisoning
Datenschutz und Sicherheit: Sind deine Daten gefährdet?
Ist die kommerzielle Nutzung und der Verkauf generierter Inhalte erlaubt?
Mein Danke und wie geht es weiter
Bonus

Good to know

Know what's good
, what to watch for
, and possible dealbreakers
Bietet eine Alternative zu geschlossenen Sprachmodellen wie ChatGPT und zeigt deren Einschränkungen auf
Vermittelt den Umgang mit verschiedenen Open-Source-LLMs, darunter Llama3, Mistral und Grok
Enthält einen Überblick über die Unterschiede zwischen Open-Source und Closed-Source LLMs
Ermöglicht es den Teilnehmenden, Open-Source-LLMs lokal auszuführen, was Flexibilität und Kosteneinsparungen bietet
Umfasst praktische Übungen und Beispiele für die Anwendung von Open-Source-LLMs in verschiedenen Bereichen
Befasst sich mit fortgeschrittenen Techniken wie Prompt Engineering und Function Calling

Save this course

Save Open-Source LLMs: Unzensierte & sichere KI lokal auf dem PC to your list so you can find it easily later:
Save

Activities

Be better prepared before your course. Deepen your understanding during and after it. Supplement your coursework and achieve mastery of the topics covered in Open-Source LLMs: Unzensierte & sichere KI lokal auf dem PC with these activities:
Connect with Experts in the LLM Field
Seek guidance and support by identifying and connecting with experienced professionals who can provide valuable insights and advice on your LLM journey.
Browse courses on Mentorship
Show steps
  • Identify potential mentors through online platforms, industry events, or personal networks.
  • Reach out to potential mentors and express your interest in their guidance.
  • Establish a mutually beneficial mentoring relationship with clear goals and expectations.
Review Python basics
Sharpen your understanding of the fundamentals of Python, ensuring a solid foundation for learning advanced concepts and techniques in this course.
Browse courses on Python Basics
Show steps
  • Revisit core concepts of Python syntax, data structures, and control flow.
  • Practice writing basic Python scripts to reinforce your understanding.
  • Take an online quiz or test to assess your proficiency.
Join a Community Forum or Group
Contribute to the LLM community by joining an online forum or group, sharing your knowledge, and engaging in discussions with fellow enthusiasts.
Browse courses on Community Involvement
Show steps
  • Identify relevant online communities or groups focused on LLMs.
  • Join the community and actively participate in discussions, sharing your insights and experiences.
  • Offer assistance to other members by answering their questions and providing guidance.
Four other activities
Expand to see all activities and additional details
Show all seven activities
Build a Repository of LLM Resources
Organize and share valuable LLM-related resources by compiling a comprehensive collection of articles, tutorials, and tools.
Browse courses on Resource Management
Show steps
  • Identify and gather high-quality resources on LLMs from various sources.
  • Categorize and organize the resources based on topics and subtopics.
  • Create a central repository or platform to host and share the compiled resources.
  • Promote the repository within the LLM community to increase its visibility and impact.
LLM Prompt Engineering Exercises
Enhance your ability to craft effective prompts for LLMs by engaging in regular practice exercises.
Browse courses on Prompt Engineering
Show steps
  • Create prompts for different tasks, such as generating text, summarizing documents, or answering questions.
  • Experiment with different prompt formats and techniques to explore their impact on LLM responses.
  • Seek feedback on your prompts from peers or instructors to refine your approach.
Attend an Advanced LLM Workshop
Gain exposure to cutting-edge LLM techniques by attending a specialized workshop led by experts in the field.
Browse courses on Advanced Techniques
Show steps
  • Research and identify reputable workshops on advanced LLM topics.
  • Register for the workshop and prepare for active participation.
  • Attend the workshop, taking detailed notes and engaging in discussions.
  • Follow up after the workshop by implementing what you have learned in your own projects.
Develop an LLM-powered Chatbot
Apply your knowledge by building a functional chatbot that leverages LLMs to provide informative and engaging interactions.
Browse courses on Chatbot Development
Show steps
  • Design the chatbot's functionality and user interface.
  • Integrate an LLM into your chatbot as the dialogue engine.
  • Train the chatbot on a specific domain or topic to enhance its responses.
  • Test and iterate on the chatbot's performance to improve its accuracy and user experience.

Career center

Learners who complete Open-Source LLMs: Unzensierte & sichere KI lokal auf dem PC will develop knowledge and skills that may be useful to these careers:

Reading list

We haven't picked any books for this reading list yet.

Share

Help others find this course page by sharing it with your friends and followers:

Similar courses

Here are nine courses similar to Open-Source LLMs: Unzensierte & sichere KI lokal auf dem PC.
LLM Profi: OpenAI, Gemini, Claude, Llama3, ChatGPT & APIs
Most relevant
KI-Agenten: Automation & Business mit LangChain & LLM Apps
Most relevant
ChatGPT & KI meistern: ChatGPT, Midjourney, Leonardo &...
Most relevant
Microsoft Copilot: KI in Excel, Word, PowerPoint & mehr
Most relevant
Business & KI: Firma aufbauen und skalieren mit ChatGPT &...
Most relevant
Vision 2030 (DE)
Most relevant
Stable Diffusion ComfyUI: Vom Anfänger zum Profi
Most relevant
Debian Linux 12: Command Line für Einsteiger - Praxiskurs
Most relevant
Ich mache DICH fit in 28 Tagen!
Most relevant
Our mission

OpenCourser helps millions of learners each year. People visit us to learn workspace skills, ace their exams, and nurture their curiosity.

Our extensive catalog contains over 50,000 courses and twice as many books. Browse by search, by topic, or even by career interests. We'll match you to the right resources quickly.

Find this site helpful? Tell a friend about us.

Affiliate disclosure

We're supported by our community of learners. When you purchase or subscribe to courses and programs or purchase books, we may earn a commission from our partners.

Your purchases help us maintain our catalog and keep our servers humming without ads.

Thank you for supporting OpenCourser.

© 2016 - 2024 OpenCourser