We may earn an affiliate commission when you visit our partners.
Course image
Google Cloud Training

通常、データ パイプラインは、「抽出、読み込み」、「抽出、読み込み、変換」、「抽出、変換、読み込み」のいずれかの枠組みに分類できます。このコースでは、バッチデータではどの枠組みを、どのような場合に使用するのかについて説明します。本コースではさらに、BigQuery、Dataproc 上での Spark の実行、Cloud Data Fusion のパイプラインのグラフ、Dataflow でのサーバーレスのデータ処理など、データ変換用の複数の Google Cloud テクノロジーについて説明します。受講者には、Qwiklabs を使用して Google Cloud でデータ パイプラインのコンポーネントを構築する実践演習を行っていただきます。

Enroll now

What's inside

Syllabus

はじめに
このモジュールでは、コースおよびアジェンダについて紹介します
バッチデータ パイプラインの構築の概要
このモジュールでは、データ読み込みに関するさまざまな方法を確認します。EL、ELT、ETL について、また何をどのタイミングで使用するか
Read more
Dataproc での Spark の実行
このモジュールでは、Dataproc での Hadoop の実行、Cloud Storage の活用、Dataproc ジョブの最適化の方法を示します。
Dataflow を使用したサーバーレスのデータ処理
このモジュールでは、Dataflow を使用してデータ処理パイプラインを構築する方法について説明します。
Cloud Data Fusion と Cloud Composer を使用したデータ パイプラインの管理
このモジュールでは、Cloud Data Fusion と Cloud Composer を使用したデータ パイプラインの管理方法について説明します。
コースのまとめ

Good to know

Know what's good
, what to watch for
, and possible dealbreakers
業界標準のデータパイプラインのフレームワーク (ELT、ELT、ETL) を学ぶ
データ変換に特化した Google Cloud テクノロジー (BigQuery、Dataproc、Data Fusion、Dataflow) を網羅
Qwiklabs を活用した実践的な演習で、データパイプラインの構築を体験
バッチデータパイプラインの構築に関する包括的な概要を提供
Cloud Data Fusion と Dataflow を使用したデータパイプライン管理の仕組みを理解できる

Save this course

Save Building Batch Data Pipelines on GCP 日本語版 to your list so you can find it easily later:
Save

Reviews summary

Data pipeline framework

This course provides an overview of frameworks and tools used to construct and manage data pipelines using Google Cloud Platform. Concepts such as ETL and ELT are introduced along with several GCP technologies such as BigQuery and Dataproc. Students are encouraged to use Qwiklabs to practice building pipeline components.
Provides overview and context for data pipelines.
"This course provides an overview of frameworks and tools used to construct and manage data pipelines using Google Cloud Platform."
Labs and exercises may be challenging for beginners.
"Cloud Storage の活用、Dataproc ジョブの最適化の方法を示します。"
"一方で、各ツールの動画やワークは初学者には大変難しく、モチベーションが維持できない。"

Activities

Be better prepared before your course. Deepen your understanding during and after it. Supplement your coursework and achieve mastery of the topics covered in Building Batch Data Pipelines on GCP 日本語版 with these activities:
Data Fusion を使用したデータ パイプラインの管理プロジェクトを早く始める
このプロジェクトでは、Data Fusion を使用してデータ パイプラインを管理する方法について実践的に学びます。
Browse courses on Data Fusion
Show steps
  • プロジェクトのスコープを定義する
  • 必要なリソースを収集する
  • Data Fusion 環境をセットアップする
EL、ELT、ETL の違いを練習する
この演習では、ELT、ELT、ETL の違いを理解するのに役立ちます。
Show steps
  • EL、ELT、ETL の定義を調べる
  • 各手法の長所と短所を比較する
  • さまざまなデータソースでの EL、ELT、ETL の使用事例を検討する
Dataflow を使用してサーバーレスのデータ処理のチュートリアルを完了する
このチュートリアルでは、Dataflow を使用してデータ処理パイプラインを構築する方法について学びます。
Browse courses on Dataflow
Show steps
  • Dataflow の概要を調べる
  • Dataflow パイプラインを作成する
  • パイプラインのデバッグとデプロイを行う
Show all three activities

Career center

Learners who complete Building Batch Data Pipelines on GCP 日本語版 will develop knowledge and skills that may be useful to these careers:
Data Engineer
Data Engineers are responsible for the design, construction, and maintenance of data pipelines. They work with data scientists to understand the data needs of an organization and then create systems to collect, process, and store that data. This course may be useful for aspiring Data Engineers, as it provides an overview of the different technologies that can be used to build batch data pipelines. The course also covers best practices for data pipeline design and management.
Data Analyst
Data Analysts use data to solve business problems. They collect, clean, and analyze data to identify trends and patterns. This course may be useful for aspiring Data Analysts, as it provides an overview of the different technologies that can be used to process and analyze data. The course also covers best practices for data analysis and visualization.
Data Scientist
Data Scientists use data to build predictive models and solve complex business problems. They work with data engineers and data analysts to collect, process, and analyze data. This course may be useful for aspiring Data Scientists, as it provides an overview of the different technologies that can be used to build and deploy machine learning models. The course also covers best practices for data science and machine learning.
Software Engineer
Software Engineers design, develop, and maintain software systems. They work with data engineers to build and maintain data pipelines. This course may be useful for aspiring Software Engineers, as it provides an overview of the different technologies that can be used to build and deploy software systems. The course also covers best practices for software development and maintenance.
Database Administrator
Database Administrators manage and maintain databases. They work with data engineers to ensure that data is stored and processed efficiently. This course may be useful for aspiring Database Administrators, as it provides an overview of the different technologies that can be used to manage and maintain databases. The course also covers best practices for database administration.
Cloud Architect
Cloud Architects design and manage cloud computing environments. They work with data engineers to build and maintain data pipelines in the cloud. This course may be useful for aspiring Cloud Architects, as it provides an overview of the different technologies that can be used to build and manage cloud computing environments. The course also covers best practices for cloud architecture and management.
Business Analyst
Business Analysts use data to understand the needs of an organization and develop solutions to business problems. They work with data engineers to collect, process, and analyze data. This course may be useful for aspiring Business Analysts, as it provides an overview of the different technologies that can be used to collect, process, and analyze data. The course also covers best practices for business analysis.
Product Manager
Product Managers are responsible for the development and launch of new products. They work with data engineers to collect, process, and analyze data to understand the needs of customers. This course may be useful for aspiring Product Managers, as it provides an overview of the different technologies that can be used to collect, process, and analyze data. The course also covers best practices for product management.
Marketing Analyst
Marketing Analysts use data to understand the effectiveness of marketing campaigns. They work with data engineers to collect, process, and analyze data. This course may be useful for aspiring Marketing Analysts, as it provides an overview of the different technologies that can be used to collect, process, and analyze data. The course also covers best practices for marketing analysis.
Financial Analyst
Financial Analysts use data to understand the financial performance of a company. They work with data engineers to collect, process, and analyze data. This course may be useful for aspiring Financial Analysts, as it provides an overview of the different technologies that can be used to collect, process, and analyze data. The course also covers best practices for financial analysis.

Reading list

We've selected seven books that we think will supplement your learning. Use these to develop background knowledge, enrich your coursework, and gain a deeper understanding of the topics covered in Building Batch Data Pipelines on GCP 日本語版.
Hadoop エコシステムとそのコンポーネントに関する包括的なリソースを提供し、このコースで扱われる Dataproc での Spark の実行に関する理解を深めます。
データパイプラインに関する便利なリファレンスで、バッチデータ処理パイプラインのアーキテクチャとコンポーネントをすばやく理解するのに役立ちます。
データ集中型アプリケーションの設計に関する包括的なガイドで、バッチデータ処理パイプラインの設計原則を理解するのに役立ちます。
Hadoopの運用に関する包括的なガイドで、Dataproc上のHadoopクラスターの管理と監視を理解するのに役立ちます。
Spark の包括的なガイドで、本コースで扱われる Dataproc での Spark の実行の理解を補完します。
データ処理パイプラインの設計と実装に役立つ、アルゴリズムとデータ構造に関する包括的なガイドです。
ソフトウェアアーキテクチャの原則に関する包括的なガイドで、データパイプラインの設計と実装に関する追加の背景情報を提供します。

Share

Help others find this course page by sharing it with your friends and followers:

Similar courses

Here are nine courses similar to Building Batch Data Pipelines on GCP 日本語版.
Smart Analytics, Machine Learning, and AI on GCP 日本語版
Most relevant
Building Resilient Streaming Analytics Systems on GCP 日本語版
Most relevant
Azure OpenAI (GPT) と Cognitive Search で作る ナレッジマイニング...
Most relevant
Intro to TensorFlow 日本語版
Most relevant
Serverless Data Processing with Dataflow: Pipelines - 日本語版
Most relevant
Machine Learning in the Enterprise - 日本語版
Most relevant
TOEIC...
Most relevant
実例でわかる JavaScript 初心者講座
Most relevant
ディープラーニング : Pythonでゼロから構築し学ぶ人工知能(AI)と深層学習の原理
Most relevant
Our mission

OpenCourser helps millions of learners each year. People visit us to learn workspace skills, ace their exams, and nurture their curiosity.

Our extensive catalog contains over 50,000 courses and twice as many books. Browse by search, by topic, or even by career interests. We'll match you to the right resources quickly.

Find this site helpful? Tell a friend about us.

Affiliate disclosure

We're supported by our community of learners. When you purchase or subscribe to courses and programs or purchase books, we may earn a commission from our partners.

Your purchases help us maintain our catalog and keep our servers humming without ads.

Thank you for supporting OpenCourser.

© 2016 - 2024 OpenCourser