自然言語処理の様々なタスクで高い性能を発揮する、「BERT」を学ぶコースです。
BERT(Bidirectional Encoder Representations from Transformers )は2018年10月にGoogleが公開して以来、世界中のAI関係者の注目を集めています。
BERTは「Transformer」と呼ばれるモデルを利用することで、離れた単語間の関係、すなわち「文脈」を考慮した自然言語処理を実現します。
自然言語処理の様々なタスクで高い性能を発揮する、「BERT」を学ぶコースです。
BERT(Bidirectional Encoder Representations from Transformers )は2018年10月にGoogleが公開して以来、世界中のAI関係者の注目を集めています。
BERTは「Transformer」と呼ばれるモデルを利用することで、離れた単語間の関係、すなわち「文脈」を考慮した自然言語処理を実現します。
タスクによっては人間並みの精度を発揮する可能性もあり、「応答文の生成」や「文書の要約」といった様々なタスクでの活用が期待されています。
本コースで学ぶことにより、BERTの仕組み、実装方法を理解し、BERTによる日本語文章の処理ができるようになります。
新しい時代の、有用な自然言語処理技術を身に付けましょう。
注: 本コースに先立ちYouTubeでのライブ講義【Live人工知能】がありました。本コースの動画はこのライブ講義をUdemy用に再構成したものになります。
コースの内容は以下の通りです。
Section1. 講座とBERTの概要
→ 自然言語処理、Transformer、BERTについて概要を学びます。
Section2. シンプルなBERTの実装
→ 最小限のPythonのコードでBERTを実装します。
Section3. BERTの仕組み
→ Transformer、BERTなどについて仕組みを詳しく学びます。
Section4. ファインチューニングの活用
→ ファインチューニングの概要、そしてBERTにおける活用について解説します。
Section5. BERTの応用
→ BERTを使って、自然言語処理のタスクに取り組みます。
なお、今回の講座でプログラミング言語Pythonの解説は最小限となりますが、Pythonの基礎を解説するノートブックがダウンロード可能です。
本コースはディープラーニング用フレームワークとしてPyTorchを使用します。
PyTorchはオープンソースの機械学習ライブラリで、簡潔さ、柔軟性、速度のバランスに優れているため人気が急上昇中です。
また、簡潔な記述が可能なため、最新の研究成果の実装によく使われています。
開発環境にはGoogle Colaboratoryを使用します。
本コースの教材の使用方法です。
本コースの導入です。
本コース全体の概要を解説します。
自然言語処理の全般について、概要を解説します。
BERTのベースであるTransformerの概要を解説します。
Transformerをベースに、BERTの概要を解説します。
開発環境であるGoogle Colaboratoryの使い方を解説します。
このセクションの教材を紹介します。
このセクションの概要です。
本コースで使用するライブラリ、PyTorchの使い方を学びます。
BERTを簡単に実装できるライブラリ、PyTorch-Transformersを紹介します。
PyTorch-Transformersを使い、最小限のコードでBERTを実装します。
このセクションの教材です。
BERTの全体像を把握します。
Transformerのモデルを詳細に解説します。
Pytorch-TransformersにおけるBERTの実装を確認します。
転移学習とファインチューニングの概要を学びます。
最小限のコードでファインチューニングを実装し、ファインチューニングの実装方法を学びます。
ファインチューニングを活用し、映画レビューの感情分析を行います。
BERTの活用例をいくつか紹介します。
BERTを使って、日本語のニュースをカテゴリに分類します。
BERTの発展系であり、文章の要約が可能なモデルBERTSUMを紹介します。
このコースの最後に、受講生の皆様へ向けてメッセージを送ります。
さらに学びたい方のために、有用な情報を提供します。
OpenCourser helps millions of learners each year. People visit us to learn workspace skills, ace their exams, and nurture their curiosity.
Our extensive catalog contains over 50,000 courses and twice as many books. Browse by search, by topic, or even by career interests. We'll match you to the right resources quickly.
Find this site helpful? Tell a friend about us.
We're supported by our community of learners. When you purchase or subscribe to courses and programs or purchase books, we may earn a commission from our partners.
Your purchases help us maintain our catalog and keep our servers humming without ads.
Thank you for supporting OpenCourser.