Open-Source LLMs: Unzensierte & sichere KI lokal auf dem PC from Udemy

ChatGPT ist gut und recht. Aber ist dir schon mal aufgefallen, dass es sehr viele Zensuren gibt, man in politische Richtungen gedrückt wird, teilweise harmlose Fragen nicht beantwortet werden und dass unsere Daten bei OpenAI eventuell nicht sicher sind?

Genau hier können Open-Source LLMs wie Llama3, Mistral, Grok, Falkon, Phi3 und Command R+ helfen.

Bist du bereit, die Feinheiten von Open-Source LLMs zu meistern und ihr volles Potenzial für verschiedene Anwendungen zu nutzen, von Datenanalyse bis zur Erstellung von Chatbots und KI-Agenten? Dann ist dieser Kurs für dich.

Einführung in Open-Source LLMs

Dieser Kurs bietet eine umfassende Einführung in die Welt der Open-Source LLMs. Du lernst die Unterschiede zwischen Open-Source und Closed-Source Modellen kennen und erfährst, warum Open-Source LLMs eine attraktive Alternative darstellen. Themen wie ChatGPT, Llama, und Mistral werden ausführlich behandelt. Außerdem wirst du lernen, welche LLMs es gibt und wie du die besten Modelle für deine Bedürfnisse auswählst. Ein besonderes Augenmerk liegt auf den Nachteilen von Closed-Source LLMs und den Vor- und Nachteilen von Open-Source LLMs wie Llama3 und Mistral.

Praktische Anwendung von Open-Source LLMs

Der Kurs zeigt dir den einfachsten Weg, Open-Source LLMs lokal auszuführen und was du dafür benötigst. Du erfährst alles über die Voraussetzungen, die Installation von LM Studio und alternative Methoden zum Betrieb von LLMs. Zudem wirst du lernen, wie du Open-Source-Modelle in LM Studio nutzt, den Unterschied zwischen zensierten und unzensierten LLMs verstehst und verschiedene Anwendungszwecke erkundest. Auch das Finetuning eines Open-Source-Modells mit Huggingface oder Google Colab sowie die Nutzung von Vision-Modellen zur Bilderkennung werden behandelt.

Prompt Engineering und Cloud-Einsatz

Ein wichtiger Teil des Kurses ist das Prompt Engineering für Open-Source LLMs. Du wirst lernen, wie du HuggingChat als Interface nutzt, Systemprompts im Prompt Engineering einsetzt und grundlegende sowie fortgeschrittene Techniken des Prompt Engineerings anwendest. Der Kurs bietet dir auch Einblicke in die Erstellung eigener Assistenten in HuggingChat und die Nutzung von Open-Source LLMs mit schnellen LPU-Chips statt GPUs.

Function Calling, RAG und Vektordatenbanken

Erfahre, was Function Calling bei LLMs ist und wie du Vektordatenbanken, Embedding-Modelle und Retrieval-Augmented Generation (RAG) implementierst. Der Kurs zeigt dir, wie du Anything LLM installierst, einen lokalen Server einrichtest und einen RAG-Chatbot mit Anything LLM und LM Studio erstellst. Du wirst auch lernen, Function Calling mit Llama 3 und Anything LLM durchzuführen und Daten zusammenzufassen, zu speichern und mit Python zu visualisieren.

Optimierung und KI-Agenten

Für die Optimierung deiner RAG-Apps erhältst du Tipps zur Datenvorbereitung und effizienten Nutzung von Tools wie LlamaIndex und LlamaParse. Darüber hinaus wirst du in die Welt der KI-Agenten eingeführt. Du lernst, was KI-Agenten sind, welche Tools zur Verfügung stehen und wie du Flowise lokal mit Node.js installierst und nutzt. Der Kurs bietet dir auch praktische Einblicke in die Erstellung eines KI-Agenten, der Python-Code und Dokumentationen erstellt, sowie die Nutzung von Function Calling und Internetzugriff.

Weitere Anwendungen und Tipps

Abschließend bietet der Kurs eine Einführung in Text-to-Speech (TTS) mit Google Colab und das Finetuning von Open-Source LLMs mit Google Colab. Du erfährst, wie du GPUs bei Anbietern wie Runpod oder Massed Compute mietest, wenn dein lokaler PC nicht ausreicht. Zudem lernst du innovative Werkzeuge wie Microsoft Autogen und CrewAI kennen und wie du LangChain für die Entwicklung von KI-Agenten nutzt.

Nutze die transformative Kraft der Open-Source LLM-Technologie, um innovative Lösungen zu entwickeln und dein Verständnis ihrer vielfältigen Anwendungen zu erweitern. Melde dich noch heute an und beginne deine Reise, ein Experte in der Welt der großen Sprachmodelle zu werden.

What's inside

Learning objectives

Warum open-source llms? unterschiede, vorteile und nachteile von open-source und closed-source llms
Was sind llms wie chatgpt, llama, mistral, phi3, qwen2-72b-instruct, grok usw.
Welche llms gibt es und was soll ich verwenden? "die besten llms" finden
Voraussetzungen für die lokale nutzung von open-source llms
Installation und verwendung von lm studio, anything llm, ollama und alternative methoden zum betrieb von llms
Zensierte vs. unzensierte llms
Finetuning eines open-source-modells mit huggingface oder google colab
Vision (bilderkennung) mit open-source llms: llama3, llava & phi3 vision
Details zur hardware: gpu offload, cpu, ram und vram
Alles zu huggingchat: ein interface für die nutzung von open-source llms
Systemprompts im prompt engineering + function calling
Prompt engineering basics: semantic association, strukturierte & rollen-prompts
Groq: open-source llms mit schnellem lpu-chip statt gpu nutzen
Vektordatenbanken, embedding-modelle & retrieval-augmented generation (rag)

Erstellen eines lokalen rag-chatbots mit anything llm & lm studio
Verknüpfen von ollama & llama 3, und nutzung von function calling mit llama 3 & anything llm
Function calling zur datenzusammenfassung, speicherung und diagrammerstellung mit python
Nutzung weiterer funktionen von anything llm und externe apis.
Tipps für bessere rag-apps mit firecrawl für webseiten-daten, effizienteres rag mit llamaindex & llamaparse für pdfs und csvs.
Definition und verfügbare tools für ki-agenten, installation und nutzung von flowise lokal mit node (einfacher als langchain und langgraph).
Erstellung eines ki-agenten, der python-code und dokumentationen erstellt, sowie nutzung von ki-agenten mit function calling, internetzugriff und drei experten.
Hosting und nutzung: welchen ki-agenten solltest du bauen und externes hosting, text-to-speech (tts) mit google colab.
Finetuning von open-source llms mit google colab (alpaca + llama-3 8b, unsloth)
Mieten von gpus bei runpod oder massed compute.
Sicherheitsaspekte: jailbreaks und sicherheitsrisiken durch angriffe auf llms mit jailbreaks, prompt injections und data poisoning
Datenschutz und sicherheit deiner daten, sowie richtlinien zur kommerziellen nutzung und dem verkauf generierter inhalte.
Show more
Show less

Warum open-source llms? unterschiede, vorteile und nachteile von open-source und closed-source llms
Was sind llms wie chatgpt, llama, mistral, phi3, qwen2-72b-instruct, grok usw.
Welche llms gibt es und was soll ich verwenden? "die besten llms" finden
Voraussetzungen für die lokale nutzung von open-source llms
Installation und verwendung von lm studio, anything llm, ollama und alternative methoden zum betrieb von llms
Zensierte vs. unzensierte llms
Finetuning eines open-source-modells mit huggingface oder google colab
Vision (bilderkennung) mit open-source llms: llama3, llava & phi3 vision
Details zur hardware: gpu offload, cpu, ram und vram
Alles zu huggingchat: ein interface für die nutzung von open-source llms
Systemprompts im prompt engineering + function calling
Prompt engineering basics: semantic association, strukturierte & rollen-prompts
Groq: open-source llms mit schnellem lpu-chip statt gpu nutzen
Vektordatenbanken, embedding-modelle & retrieval-augmented generation (rag)
Erstellen eines lokalen rag-chatbots mit anything llm & lm studio
Verknüpfen von ollama & llama 3, und nutzung von function calling mit llama 3 & anything llm
Function calling zur datenzusammenfassung, speicherung und diagrammerstellung mit python
Nutzung weiterer funktionen von anything llm und externe apis.
Tipps für bessere rag-apps mit firecrawl für webseiten-daten, effizienteres rag mit llamaindex & llamaparse für pdfs und csvs.
Definition und verfügbare tools für ki-agenten, installation und nutzung von flowise lokal mit node (einfacher als langchain und langgraph).
Erstellung eines ki-agenten, der python-code und dokumentationen erstellt, sowie nutzung von ki-agenten mit function calling, internetzugriff und drei experten.
Hosting und nutzung: welchen ki-agenten solltest du bauen und externes hosting, text-to-speech (tts) mit google colab.
Finetuning von open-source llms mit google colab (alpaca + llama-3 8b, unsloth)
Mieten von gpus bei runpod oder massed compute.
Sicherheitsaspekte: jailbreaks und sicherheitsrisiken durch angriffe auf llms mit jailbreaks, prompt injections und data poisoning
Datenschutz und sicherheit deiner daten, sowie richtlinien zur kommerziellen nutzung und dem verkauf generierter inhalte.
Show more
Show less

Syllabus

Einleitung und Überblick

Willkommen

Kurs Überblick

Mein Ziel und ein paar Tipps

Traffic lights

Read about what's good

what should give you pause

and possible dealbreakers

Bietet eine Alternative zu geschlossenen Sprachmodellen wie ChatGPT und zeigt deren Einschränkungen auf

Vermittelt den Umgang mit verschiedenen Open-Source-LLMs, darunter Llama3, Mistral und Grok

Enthält einen Überblick über die Unterschiede zwischen Open-Source und Closed-Source LLMs

Ermöglicht es den Teilnehmenden, Open-Source-LLMs lokal auszuführen, was Flexibilität und Kosteneinsparungen bietet

Umfasst praktische Übungen und Beispiele für die Anwendung von Open-Source-LLMs in verschiedenen Bereichen

Befasst sich mit fortgeschrittenen Techniken wie Prompt Engineering und Function Calling

Reviews summary

Lokale open-source llms praxisnah meistern

Laut Lernenden ist dieser Kurs eine umfassende und praxisorientierte Einführung in die Welt der Open-Source LLMs. Viele schätzen die klaren Anleitungen zur lokalen Ausführung von Modellen wie Llama 3 mittels Tools wie LM Studio und Anything LLM. Der Kurs wird oft als Game Changer für Unabhängigkeit von Cloud-Anbietern beschrieben und deckt wichtige Bereiche wie Prompt Engineering, RAG und die Erstellung von KI-Agenten ab. Einige weisen jedoch darauf hin, dass die Hardware-Anforderungen beträchtlich sind und man für die reibungslose Anwendung einen leistungsstarken PC benötigt. Einzelne Stimmen wünschen sich mehr Tiefgang für Fortgeschrittene oder detailliertere Code-Beispiele, aber im Großen und Ganzen gilt der Kurs als sehr wertvoll und aktuell.

Der Kurs wird regelmäßig aktualisiert und integriert neue Entwicklungen wie Llama 3.1.

"Unglaublich detailliert und auf dem neuesten Stand! Der Dozent hat sich wirklich Mühe gegeben, Llama 3.1 und andere aktuelle Entwicklungen zu integrieren."

"Der Kurs ist sein Geld absolut wert und hat meine Erwartungen übertroffen, auch weil er so aktuell ist."

"Ich schätze die klaren Schritt-für-Schritt-Anleitungen und dass auch Themen wie GPU-Miete angesprochen werden, was die Relevanz erhöht."

Der Kurs deckt ein breites Spektrum an relevanten Themen ab, von Grundlagen bis zu fortgeschrittenen Techniken.

"Die Praxisteile zu RAG und Function Calling sind Gold wert. Ein absoluter Game Changer."

"Besonders gut fand ich die Abschnitte zu Anything LLM und Flowise für KI-Agenten."

"Ich habe gelernt, wie man Jailbreaks vermeidet und Daten sicher hält, der Fokus auf Datenschutz und Sicherheit ist top."

Der Kurs bietet exzellente Anleitungen zur lokalen Installation und Nutzung von Open-Source LLMs.

"Ich konnte endlich verstehen, wie ich LLMs wie Llama 3 lokal auf meinem PC ausführen kann. Die Erklärungen zu LM Studio waren super klar."

"Der Kurs zeigt den einfachsten Weg, Open-Source LLMs lokal auszuführen und was man dafür benötigt, was sehr wertvoll ist."

"Endlich ein Kurs, der sich auf das WESENTLICHE konzentriert: praktische Anwendung und Unabhängigkeit."

Der Kurs ist ideal für Einsteiger, könnte aber für Fortgeschrittene in einigen Bereichen an Tiefe vermissen lassen.

"Für absolute Einsteiger gut, aber Fortgeschrittene könnten mehr Tiefe vermissen."

"Der Kurs deckt viele Themen ab, aber nicht immer in der Tiefe, die ich mir gewünscht hätte. Für einen Überblick ist er gut."

"Manchmal ging es mir etwas zu schnell, und für manche Installationen braucht man etwas Geduld. Man muss selbst bereit sein, viel nachzuschlagen."

Um die Modelle lokal auszuführen, ist leistungsstarke Hardware unerlässlich.

"Die Hardware-Anforderungen werden zwar erwähnt, aber man sollte wirklich einen starken Gaming-PC haben, sonst läuft lokal nichts flüssig."

"Leider war ich etwas enttäuscht. Ich habe einen älteren Laptop und konnte die Modelle kaum lokal ausführen. Die Performance war miserabel."

"Man sollte klarer warnen, dass man High-End-Hardware benötigt."

Activities

Be better prepared before your course. Deepen your understanding during and after it. Supplement your coursework and achieve mastery of the topics covered in Open-Source LLMs: Unzensierte & sichere KI lokal auf dem PC with these activities:

Connect with Experts in the LLM Field

Show steps

Seek guidance and support by identifying and connecting with experienced professionals who can provide valuable insights and advice on your LLM journey.

Browse courses on Mentorship

Show steps

Identify potential mentors through online platforms, industry events, or personal networks.
Reach out to potential mentors and express your interest in their guidance.
Establish a mutually beneficial mentoring relationship with clear goals and expectations.

Review Python basics

Show steps

Sharpen your understanding of the fundamentals of Python, ensuring a solid foundation for learning advanced concepts and techniques in this course.

Browse courses on Python Basics

Show steps

Revisit core concepts of Python syntax, data structures, and control flow.
Practice writing basic Python scripts to reinforce your understanding.
Take an online quiz or test to assess your proficiency.

Join a Community Forum or Group

Show steps

Contribute to the LLM community by joining an online forum or group, sharing your knowledge, and engaging in discussions with fellow enthusiasts.

Browse courses on Community Involvement

Show steps

Identify relevant online communities or groups focused on LLMs.
Join the community and actively participate in discussions, sharing your insights and experiences.
Offer assistance to other members by answering their questions and providing guidance.

Four other activities

Expand to see all activities and additional details

Show all seven activities

Build a Repository of LLM Resources

Show steps

Organize and share valuable LLM-related resources by compiling a comprehensive collection of articles, tutorials, and tools.

Browse courses on Resource Management

Show steps

Identify and gather high-quality resources on LLMs from various sources.
Categorize and organize the resources based on topics and subtopics.
Create a central repository or platform to host and share the compiled resources.
Promote the repository within the LLM community to increase its visibility and impact.

LLM Prompt Engineering Exercises

Show steps

Enhance your ability to craft effective prompts for LLMs by engaging in regular practice exercises.

Browse courses on Prompt Engineering

Show steps

Create prompts for different tasks, such as generating text, summarizing documents, or answering questions.
Experiment with different prompt formats and techniques to explore their impact on LLM responses.
Seek feedback on your prompts from peers or instructors to refine your approach.

Attend an Advanced LLM Workshop

Show steps

Gain exposure to cutting-edge LLM techniques by attending a specialized workshop led by experts in the field.

Browse courses on Advanced Techniques

Show steps

Research and identify reputable workshops on advanced LLM topics.
Register for the workshop and prepare for active participation.
Attend the workshop, taking detailed notes and engaging in discussions.
Follow up after the workshop by implementing what you have learned in your own projects.

Develop an LLM-powered Chatbot

Show steps

Apply your knowledge by building a functional chatbot that leverages LLMs to provide informative and engaging interactions.

Browse courses on Chatbot Development

Show steps

Design the chatbot's functionality and user interface.
Integrate an LLM into your chatbot as the dialogue engine.
Train the chatbot on a specific domain or topic to enhance its responses.
Test and iterate on the chatbot's performance to improve its accuracy and user experience.

Career center

Learners who complete Open-Source LLMs: Unzensierte & sichere KI lokal auf dem PC will develop knowledge and skills that may be useful to these careers:

Reading list

We haven't picked any books for this reading list yet.

Open-Source LLMs

Unzensierte & sichere KI lokal auf dem PC

What's inside

Learning objectives

Syllabus

Traffic lights

Save this course

Reviews summary

Lokale open-source llms praxisnah meistern

Activities

Career center

Reading list

Share

Similar courses