【基礎から学ぶ】自然言語処理から大規模言語モデルLLMへ~Pythonで実践してみよう from Udemy

本コースは、自然言語処理の基礎から大規模言語処理LLM時代への流れを説明しつつ、LLMの事前学習済みモデルを使用し、ファインチューニングの演習までを行うコースとなっています。大規模言語モデルLLMはChatGPTを始めとして、今ではさまざまな場面で使われる技術になってきましたが、実際にその裏側の技術についてはよくわからないという方も多いかと思います。

なので、本コースを通じて、大規模言語モデルとはどのようなものなのか、今までの自然言語処理からどのように発展してきたのか、どのように大規模言語モデルをファインチューニングするのか、Pythonで実践することでを学び、これからの加速する時代に備えていきましょう！

自然言語処理の基礎
ディープラーニングの基礎
Transformer
大規模言語モデル(LLM)
PythonでLLMを使う演習
- 事前学習済みモデルの使用
- 事前学習済みモデルのファインチューニング
- 独自データの使用方法

対象

ChatGPTなどの生成AIに興味はあるが、その裏側の技術はよくわからないという人
大規模言語モデルを使ってみたい人
簡単に事前学習済みのファインチューニングにチャレンジしたい人

注意

すでに業務などで大規模言語モデルを扱っている方には向きません（LLM初心者向け）
Google Colaboratoryの無料アカウントを使って演習を行っています。もし有料アカウントや、自前のGPU環境がある方はそちらをお使いください
ディープラーニングの基礎パートは他コースでも使用している動画になりますので、ご了承ください

What's inside

Syllabus

紹介

コース紹介

サンプルコードのダウンロード

コース準備レクチャー

自然言語処理の基礎

自然言語処理の分野

形態素解析

Bag-of-Words

TF-IDF

単語分散表現（Word2Vec）

コサイン類似度

ディープラーニングの基礎

ニューラルネットワーク

目的関数

活性化関数

確率的勾配降下法

ミニバッチ学習

Epochとイテレーション

誤差逆伝播法

勾配消失とRELU

CNN①

CNN②

RNN

LSTM

Transformer

系列変換

エンコーダ・デコーダ

Transformerのアーキテクチャ

エンコーダ-位置埋め込み

セルフアテンション

エンコーダ-マルチヘッドアテンション

エンコーダ-フィードフォワード層と活性化関数

エンコーダ-残差結合

デコーダ

大規模言語モデルLLM

大規模言語モデルLLMとは

GPTモデル

BERTモデル

T5モデル

多言語対応

トークナイゼーション

事前学習済みモデルの小規模化

RLHF（害意のないモデルにする手法）

再学習

PEFTによるファインチューニング

LLMの演習①~事前学習済みモデルの使用

演習の内容

データのダウンロード

テキスト分類①

テキスト分類②

テキスト分類③

質疑応答

文章の要約

LLMの演習②~事前学習済みモデルのファインチューニング（感情分析）

データセットの読み込み

トークン化

事前学習モデルの指定

PEFTの設定

再学習の設定

メトリクスの設定と再学習の実施

評価（混同行列の作成）

LLMの演習③~独自データの使い方

まだCSVデータをダウンロードしていない方は、こちらからダウンロードすることができます。

独自データのエンコーディング

ボーナスレクチャー

ボーナス

Activities

Be better prepared before your course. Deepen your understanding during and after it. Supplement your coursework and achieve mastery of the topics covered in 【基礎から学ぶ】自然言語処理から大規模言語モデルLLMへ~Pythonで実践してみよう with these activities:

自然言語処理の基礎を復習する

Show steps

コース開始前に自然言語処理の基本的な概念を復習することで、よりスムーズに学習を進めることができます。

Browse courses on NLP

Show steps

自然言語処理の教科書や参考書を読み返す。
過去のノートや資料を見直す。
自然言語処理に関するオンライン記事やブログを読む。

『言語処理のための機械学習入門』を読む

Show steps

この本を読むことで、自然言語処理の基礎知識を深め、コースの内容をより深く理解することができます。

View 言語処理のための機械学習入門 on Amazon

Show steps

書籍を購入または図書館で借りる。
書籍を読み進めながら、重要な箇所をノートにまとめる。
理解できない箇所があれば、インターネットや参考書で調べる。

Pythonでテキスト処理の練習をする

Show steps

Pythonを使ったテキスト処理の練習を通して、コースで必要なプログラミングスキルを向上させることができます。

Show steps

Pythonの基本的な文法を復習する。
テキストファイルの読み書きを練習する。
文字列の操作（分割、結合、置換など）を練習する。
正規表現を使ったテキスト処理を練習する。

Four other activities

Expand to see all activities and additional details

Show all seven activities

自然言語処理に関するブログ記事を書く

Show steps

学んだ知識をブログ記事としてアウトプットすることで、理解を深め、記憶を定着させることができます。

Show steps

ブログのテーマを決める（例：Word2Vecの仕組み、Transformerの概要）。
テーマに関する情報を収集する。
ブログ記事を執筆する。
ブログ記事を公開する。

感情分析のプロジェクトを始める

Show steps

感情分析のプロジェクトを通して、大規模言語モデルのファインチューニングを実践的に学ぶことができます。

Show steps

感情分析のデータセットを収集する。
データセットを前処理する。
大規模言語モデルをファインチューニングする。
モデルの性能を評価する。

『Transformersによる自然言語処理』を読む

Show steps

この本を読むことで、Transformerモデルの理解を深め、大規模言語モデルの学習に役立てることができます。

View Putting Knowledge to Work on Amazon

Show steps

書籍を購入または図書館で借りる。
書籍を読み進めながら、Transformerモデルの仕組みを理解する。
書籍に掲載されているコードを実際に実行してみる。

Hugging Faceに貢献する

Show steps

Hugging Faceに貢献することで、大規模言語モデルのコミュニティに参加し、実践的なスキルを向上させることができます。

Show steps

Hugging FaceのGitHubリポジトリを調査する。
貢献できる箇所を見つける（例：バグ修正、ドキュメントの改善）。
プルリクエストを作成する。
コミュニティからのフィードバックに対応する。

Career center

Learners who complete 【基礎から学ぶ】自然言語処理から大規模言語モデルLLMへ~Pythonで実践してみよう will develop knowledge and skills that may be useful to these careers:

チャットボット開発者

チャットボット開発者は、ユーザーと自然な会話ができるAIチャットボットを開発する専門家です。このコースでは、自然言語処理の基礎から大規模言語モデル（LLM）の応用までを学べるため、チャットボット開発に必要なスキルを習得できます。特に、LLMのファインチューニングや独自データの扱い方をPythonで実践することで、より高度なチャットボットを開発する能力を向上させることができます。チャットボット開発者を目指す方は、このコースを通して、実践的な開発スキルを磨きましょう。

See salaries and explore the career path for チャットボット開発者

自然言語処理エンジニア

自然言語処理エンジニアは、テキストデータから意味を抽出し、それを様々なアプリケーションに活用する専門家です。このコースでは、自然言語処理の基礎から大規模言語モデル（LLM）のファインチューニングまでをPythonで実践的に学べるため、自然言語処理エンジニアに必要なスキルを体系的に習得できます。特に、事前学習済みモデルの使用や独自データの扱い方を学ぶことで、実践的な問題解決能力を養えます。自然言語処理エンジニアを目指す方は、このコースを通して、加速するLLM時代に備えましょう。

See salaries and explore the career path for 自然言語処理エンジニア

自然言語理解開発者

自然言語理解開発者は、コンピュータが人間の言葉を理解し、処理するシステムを開発する専門家です。このコースでは、自然言語処理の基礎から大規模言語モデル（LLM）の応用までを実践的に学べるため、自然言語理解開発に必要なスキルを習得できます。特に、形態素解析、Bag-of-Words、TF-IDFといった基本的な手法や、LLMのファインチューニングをPythonで実践することで、自然言語理解システムの開発能力を向上させることができます。自然言語理解開発者を目指す方は、このコースを通して、実践的な開発スキルを磨きましょう。

See salaries and explore the career path for 自然言語理解開発者

テキストマイニングアナリスト

テキストマイニングアナリストは、大量のテキストデータから有益な情報やパターンを発見する専門家です。このコースでは、自然言語処理の基礎から大規模言語モデル（LLM）の応用までを学べるため、テキストマイニングに必要なスキルを習得できます。特に、Bag-of-WordsやTF-IDF、単語分散表現といった基本的な手法や、LLMを用いたテキスト分類や要約をPythonで実践することで、テキストデータ分析の能力を向上させることができます。テキストマイニングアナリストを目指す方は、このコースを通して、実践的な分析スキルを磨きましょう。

See salaries and explore the career path for テキストマイニングアナリスト

データサイエンティスト

データサイエンティストは、大量のデータから有益な情報や洞察を引き出す専門家です。このコースでは、自然言語処理の基礎から大規模言語モデル（LLM）の応用までを幅広く学べるため、データサイエンティストとしてテキストデータを扱うスキルを向上させることができます。特に、TF-IDFや単語分散表現、コサイン類似度といった自然言語処理の基本的な手法や、LLMのファインチューニングをPythonで実践することで、データ分析の幅を広げることができます。データサイエンティストを目指す方は、このコースを通して、実践的なデータ分析能力を磨きましょう。

See salaries and explore the career path for データサイエンティスト

機械学習エンジニア

機械学習エンジニアは、機械学習モデルの開発、実装、運用を行う専門家です。このコースでは、自然言語処理におけるディープラーニングの基礎やTransformerアーキテクチャ、大規模言語モデル（LLM）の概念を学ぶことができます。さらに、Pythonを用いた演習を通して、事前学習済みモデルの利用やファインチューニングを体験できます。機械学習エンジニアとして、自然言語処理の分野で活躍したい方にとって、本コースはLLMの知識と実践スキルを身につけるための第一歩となるでしょう。

See salaries and explore the career path for 機械学習エンジニア

コンテンツレコメンデーションエンジニア

コンテンツレコメンデーションエンジニアは、ユーザーの興味や嗜好に基づいて最適なコンテンツを提供するシステムを開発する専門家です。このコースでは、自然言語処理の基礎から大規模言語モデル（LLM）の応用までを学べるため、コンテンツレコメンデーションに必要なスキルを習得できます。特に、コサイン類似度やLLMを用いたテキスト分類をPythonで実践することで、コンテンツの類似度を評価し、適切なレコメンデーションを行う能力を向上させることができます。コンテンツレコメンデーションエンジニアを目指す方は、このコースを通して、実践的な開発スキルを磨きましょう。

See salaries and explore the career path for コンテンツレコメンデーションエンジニア

AIリサーチャー

AIリサーチャーは、人工知能に関する新しい技術や理論を研究する専門家です。このコースでは、大規模言語モデル（LLM）の基礎から応用までを学ぶことができるため、LLMに関する最先端の研究に貢献するための知識を深めることができます。特に、TransformerアーキテクチャやGPT、BERT、T5モデルといったLLMの内部構造や動作原理を理解し、Pythonを用いた演習を通して、LLMのファインチューニングを体験することで、研究開発のスキルを向上させることができます。AIリサーチャーを目指す方は、このコースを通して、LLM研究の基礎を築きましょう。

See salaries and explore the career path for AIリサーチャー

検索エンジンエンジニア

検索エンジンエンジニアは、ユーザーが求める情報を効率的に検索できるシステムを開発する専門家です。このコースでは、自然言語処理の基礎から大規模言語モデル（LLM）の応用までを学べるため、検索エンジンの性能向上に役立つスキルを習得できます。特に、TF-IDFや単語分散表現、LLMを用いたセマンティック検索をPythonで実践することで、検索結果の精度を高める能力を向上させることができます。検索エンジンエンジニアを目指す方は、このコースを通して、実践的な開発スキルを磨きましょう。

See salaries and explore the career path for 検索エンジンエンジニア

コンピューター言語学者

コンピューター言語学者は、計算機科学を用いて言語の構造や意味を研究する専門家であり、通常は修士号または博士号が必要です。このコースでは、自然言語処理の基礎から大規模言語モデル（LLM）の応用までを学べるため、LLMの言語学的特性を分析するための基礎知識を習得できます。特に、形態素解析や構文解析、意味解析といった自然言語処理の基本的な手法を理解し、LLMの内部構造や動作原理を学ぶことで、言語学的な視点からLLMを評価する能力を養うことができます。コンピューター言語学者を目指す方は、このコースを通して、LLM研究の基礎を築きましょう。

See salaries and explore the career path for コンピューター言語学者

翻訳者

翻訳者は、ある言語で書かれたテキストを別の言語に翻訳する専門家です。このコースでは、自然言語処理や大規模言語モデル（LLM）に関する知識を習得できるため、機械翻訳システムの品質評価や改善に貢献することができます。特に、LLMを用いた機械翻訳の仕組みを理解し、翻訳結果の精度や自然さを評価することで、より高品質な機械翻訳システムの開発を支援する能力を向上させることができます。翻訳者として、機械翻訳の分野で活躍したい方にとって、本コースは専門知識を深めるための良い機会となるでしょう。

See salaries and explore the career path for 翻訳者

AI倫理研究者

AI倫理研究者は、人工知能技術の倫理的な影響を研究し、責任あるAI開発のためのガイドラインを作成する専門家であり、通常は修士号または博士号が必要です。このコースでは、大規模言語モデル（LLM）の仕組みや応用事例を学ぶことで、LLMが社会に与える影響を多角的に評価するための基礎知識を習得できます。特に、LLMのバイアスや偏見、悪用リスクについて理解を深め、倫理的な視点からLLMの開発と利用を促進するための提言を行う能力を養うことができます。AI倫理研究者を目指す方は、このコースを通して、倫理的なAI研究の基礎を築きましょう。

See salaries and explore the career path for AI倫理研究者

テクニカルライター

テクニカルライターは、技術的な情報をわかりやすく伝えるドキュメントを作成する専門家です。このコースでは、自然言語処理や大規模言語モデル（LLM）に関する知識を習得できるため、LLM関連の技術ドキュメントや解説記事を作成する際に役立ちます。特に、LLMの仕組みや応用事例を理解し、Pythonを用いた演習を通して得られた経験を基に、読者にとって理解しやすい文章を作成する能力を向上させることができます。テクニカルライターとして、LLM分野で活躍したい方にとって、本コースは専門知識を深めるための良い機会となるでしょう。

See salaries and explore the career path for テクニカルライター

プロジェクトマネージャー

プロジェクトマネージャーは、プロジェクトの計画立案、実行、管理を行う専門家です。このコースで自然言語処理（NLP）と大規模言語モデル(LLM)の基礎知識を習得することで、NLPまたはLLM関連プロジェクトの管理が円滑に進むはずです。特に、LLMプロジェクトの技術的な側面を理解し、開発チームとのコミュニケーションの効果を高めます。このコースは、タスクを効率的に割り当て、潜在的な問題を特定し、プロジェクトを成功裏に完了させるために役立ちます。

See salaries and explore the career path for プロジェクトマネージャー

広報担当者

広報担当者は、企業や組織の情報を社会に発信する専門家です。このコースでは、自然言語処理や大規模言語モデル（LLM）に関する知識を習得できるため、LLM関連の技術や製品に関するプレスリリースや広報資料を作成する際に役立ちます。特に、LLMの仕組みや応用事例を理解し、Pythonを用いた演習を通して得られた経験を基に、一般の人々にとって理解しやすい文章を作成する能力を向上させることができます。広報担当者として、LLM分野で活躍したい方にとって、本コースは専門知識を深めるための良い機会となるでしょう。

See salaries and explore the career path for 広報担当者

【基礎から学ぶ】自然言語処理から大規模言語モデルLLMへ~Pythonで実践してみよう

What's inside

Syllabus

Save this course

Activities

Career center

Reading list

Share

Similar courses