Sıfırdan LLM Geliştirme: Kendi Dil Modelini Oluştur from Udemy

Bu kurs, büyük dil modellerinin (LLM) iç yapısını öğrenmek ve kendi modelini sıfırdan geliştirmek isteyen herkes için kapsamlı ve uygulamalı bir rehberdir. Python ve PyTorch kullanarak, modern GPT tarzı bir Transformer modeli sıfırdan inşa edecek; tokenization sürecinden embedding katmanlarına, self-attention mekanizmasından multi-head attention’a kadar tüm temel bileşenleri adım adım gerçekleştireceksiniz.

İlk olarak tokenizasyon, pozisyonel encoding ve embedding kavramlarını uygulamalı örneklerle öğrenecek, ardından Transformer bloklarını bir araya getirerek çalışan bir dil modeli geliştireceksiniz. Bu modeli next-token prediction görevi için eğitecek, ardından Supervised Fine-Tuning (SFT) yöntemlerini kullanarak soru-cevaplama gibi özel görevler için adapte edeceksiniz.

Kurs boyunca veri hazırlama süreçlerinden optimizer ve loss fonksiyonlarının kullanımına, GPU destekli eğitimden model kayıt/yükleme işlemlerine kadar birçok pratik detaya değinilecektir. Colab ve Hugging Face gibi popüler açık kaynak araçlar da etkin şekilde kullanılacaktır.

Bu kurs; yapay zeka alanında derinleşmek isteyen geliştiriciler, veri bilimciler ve makine öğrenimi mühendisleri için özel olarak tasarlanmıştır. Amacımız, sadece hazır modelleri kullanmak değil, bu modellerin nasıl çalıştığını anlamak, onları inşa etmek ve gerektiğinde geliştirebilecek teknik beceriyi kazandırmaktır.

Kurs sonunda, sıfırdan eğitilmiş bir GPT modeli oluşturmuş olacak ve onu kendi projelerinize entegre edebileceksiniz. Bu süreç, yalnızca bir modeli çalıştırmakla kalmayıp, aynı zamanda mimarisini anlamanızı, ihtiyaçlarınıza göre uyarlamanızı ve ince ayarlarla performansını artırmanızı mümkün kılacaktır.

What's inside

Learning objectives

Llm mimarilerini oluşturan temel bileşenleri (tokenizer, embedding katmanları, transformer blokları) kavrayabilecek ve işleyişlerini detaylı şekilde anlayacak.
Sıfırdan, küçük ölçekli bir gpt benzeri transformer tabanlı model geliştirerek, modelin her bileşenini kod düzeyinde inşa etmeyi öğrenecek.
Hugging face, pytorch ve benzeri framework'lerle model eğitme ve fine-tuning süreçlerini gerçek dünya verileriyle uygulamalı olarak gerçekleştirebilecek.

Kendi veri setini hazırlayıp, özelleştirilmiş bir tokenizer ile bütünleştirerek veri ön işleme ve tokenizasyon süreçlerini yönetebilecek.
Geliştirdiği llm’in çıktılarını analiz etme, hata ayıklama, performans iyileştirme ve değerlendirme yöntemlerini uygulamalı olarak deneyimleyecek.

Llm mimarilerini oluşturan temel bileşenleri (tokenizer, embedding katmanları, transformer blokları) kavrayabilecek ve işleyişlerini detaylı şekilde anlayacak.
Sıfırdan, küçük ölçekli bir gpt benzeri transformer tabanlı model geliştirerek, modelin her bileşenini kod düzeyinde inşa etmeyi öğrenecek.
Hugging face, pytorch ve benzeri framework'lerle model eğitme ve fine-tuning süreçlerini gerçek dünya verileriyle uygulamalı olarak gerçekleştirebilecek.
Kendi veri setini hazırlayıp, özelleştirilmiş bir tokenizer ile bütünleştirerek veri ön işleme ve tokenizasyon süreçlerini yönetebilecek.
Geliştirdiği llm’in çıktılarını analiz etme, hata ayıklama, performans iyileştirme ve değerlendirme yöntemlerini uygulamalı olarak deneyimleyecek.