Azure OpenAI (GPT) と Cognitive Search で作る ナレッジマイニング チャットボット
現代のビジネスシーンでは、データを効果的に活用することが求められています。
特に、ChatGPTが登場してから、自社データをチャット形式で検索するための仕組み開発が盛んになっています。
本講座ではそのような要求に応えられるようなチャット形式のデータマイニングツールの開発をテーマに学習していきます。
Read more
現代のビジネスシーンでは、データを効果的に活用することが求められています。
特に、ChatGPTが登場してから、自社データをチャット形式で検索するための仕組み開発が盛んになっています。
本講座ではそのような要求に応えられるようなチャット形式のデータマイニングツールの開発をテーマに学習していきます。
現代のビジネスシーンでは、データを効果的に活用することが求められています。
特に、ChatGPTが登場してから、自社データをチャット形式で検索するための仕組み開発が盛んになっています。
本講座ではそのような要求に応えられるようなチャット形式のデータマイニングツールの開発をテーマに学習していきます。
本講座では、情報検索の基本からCognitive Searchの基本、そしてPDFファイルを取り込むことをテーマにデータ取り込み処理の実践的な方法を学ぶことができます。
最終的には、LangChainとGPTを組み合わせた実用的なデータマイニング可能なチャットボットをハンズオンで開発していきます。
本講座を学習することで、データを効果的に活用して価値を生み出すシステムを開発するスキルを手に入れることができます。
やってみたいと思いながら、具体的な実装方法が思いつけていない方は、ぜひ一度、本コースを受講いただければと思います。
【概要】
基礎学習
情報検索システム概要
情報検索システム、情報検索エンジン
フルテキスト検索（全文検索）の流れ、構成要素
ベクトル検索
Cognitive Search概要
基本機能
SKU
セキュリティ
監視/モニタリング
可用性、回復性
ハンズオン
全体アーキテクチャ
データ取り込み処理（ETL処理）
PDFファイル読み込み
チャンク分割
ベクトル変換（OpenAI の Embedding モデルを 利用）
Cognitive Search へ登録
Cognitive Search での検索
フルテキスト検索（全文検索）
ベクトル検索
Webアプリの実装
LangChainを使ってReActを実装（OpenAI の GPTモデル を利用）
カスタムツールにCognitive Search を実装、組み込み
LangChainの日本語化
Azure上へデプロイ
【更新履歴】
v1.0.0 2023/12/05 初版リリース
What's inside
Syllabus
本講座の概要について学びます。
本講座の概要についてご紹介します。
本講座全体を通して学習する内容についてご紹介します。
本講座を受講するにあたり、対象とする受講生、前提知識、注意事項についてご案内します。
Read more
Syllabus
本講座の概要についてご紹介します。
本講座全体を通して学習する内容についてご紹介します。
本講座を受講するにあたり、対象とする受講生、前提知識、注意事項についてご案内します。
Azure OpenAI Service が利用できない場合の回避策として、OpenAI社のAPIを利用する方法について解説します。
2023年の Microsoft Ignite にて発表された内容の紹介です。
本セクションで学習する内容について確認します。
情報検索、ナレッジマイニングについて、どのような仕組みなのかその概要を学習します。
情報検索システムを構成する要素について、「データ登録」と「情報検索」の2観点から実行順に学習していきます。
ベクトル検索とはどのようなものなのか学習します。
Cognitive Search の基本機能、SKUについて学習します。
Cognitive Search の非機能、セキュリティ、監視/モニタリング、可用性、回復性について学習します。
Azure上に Cognitive Search をデプロイする演習を行います。
Azure上にデプロイした Cognitive Search の動作確認として、インデックス作成、データ登録、検索の一連の操作を行います。
この後のセクションから始まるハンズオンで開発する情報検索システムの全体構成について学習します。
データ取り込み用のプロジェクトフォルダを作成します。
NodejsでPDFファイルを読み取る実装を行います。
作成したPDFファイル読み取りの実装を今後の開発で再利用できるようモジュール化します。
取り込んだテキストデータを変換処理に向けてフォーマット変更する実装を行います。
最初の変換処理として、長いテキストを分割（チャンク分割）する処理を実装します。
実装にはLangChainを利用します。
OpenAI の Embedding API について使い方を学習します。
Azure上にOpenAI Service をデプロイし、Embeddingモデルを作成します。
作成した Azure OpenAI Service の Embedding モデルの動作確認をします。
OpenAI社のEmbedding API のドキュメント場所をご紹介します。
テキストデータをベクトル値へ変換する処理を実装します。
ベクトル値の導出にはOpenAIのEmbeddingを利用します。
最終的に Cognitive Search へ登録するため、登録可能な形式にデータ形式を変更する実装を行います。
Cognitive Search のインデックス作成するAPIについて学習し、実際にインデックス作成を行います。
Cognitive Search のドキュメント登録に関するAPIについて学習し、実際に動作確認を行ってみます。
Cognitive Search の検索API（Search API）の利用可能バージョン番号についての情報です。
ここまでに学習したドキュメント登録APIを実際にNodejsで実行できるよう実装します。
テスト実行用に利用していたサンプルデータから、この後で実際に利用する本番用のデータに差し替えを行います。
Cognitive Search のドキュメント検索APIの使い方について学習します。
本セクションで演習を行うために必要となるプロジェクトフォルダを準備します。
Cognitive Search に対してフルテキスト検索を実行する操作をREST API で実行してみます。
Cognitive Search に対してフルテキスト検索を実行する操作をNodejsの実装で実行してみます。
Cognitive Search に対してベクトル検索を実行する操作をNodejsの実装で実行してみます。
情報検索できるチャットアプリを開発するため、ひな型となるプロジェクトフォルダを準備します。
開発を進めるにあたり必要なミドルウェアを追加します。
Azure上の OpenAI Service に GPT モデル を追加します。
LangChainを使ってReActプロンプトを実装します。
このタイミングでツールは利用しないので、ここでは単純なチャットアプリを構築します。
以前のセクションまでに準備してきたCognitive Searchに対してLangChainから検索が行えるよう、カスタムツールを作成、LangChainのReActの中へ組み込みます。
LangChainは内部プロンプトが英語であるため、日本語化を行います。
Azure上に App Service をデプロイします。
デプロイ済みのAzure上の App Service に対して、ここまでに開発してきたアプリをデプロイし、Webアプリとして完成させます。
本講座の学習内容を振り返り、今後の学習に向けて指針となる情報を確認します。
ボーナスレクチャーです。
Good to know
Save this course
Save
Activities
Career center
Data Scientist
Data Engineer
Machine Learning Engineer
Software Engineer
Data Analyst
Information Architect
UX Designer
Product Manager
Business Analyst
Technical Writer
Librarian
Archivist
Museum curator
Knowledge Manager
Information Security Analyst
Reading list
Share
Similar courses
OpenCourser helps millions of learners each year. People visit us to learn workspace skills, ace their exams, and nurture their curiosity.
Our extensive catalog contains over 50,000 courses and twice as many books. Browse by search, by topic, or even by career interests. We'll match you to the right resources quickly.
Find this site helpful? Tell a friend about us.
We're supported by our community of learners. When you purchase or subscribe to courses and programs or purchase books, we may earn a commission from our partners.
Your purchases help us maintain our catalog and keep our servers humming without ads.
Thank you for supporting OpenCourser.
