We may earn an affiliate commission when you visit our partners.

Building Batch Data Pipelines on GCP 日本語版

通常、データパイプラインは、「抽出、読み込み」、「抽出、読み込み、変換」、「抽出、変換、読み込み」のいずれかの枠組みに分類できます。このコースでは、バッチデータではどの枠組みを、どのような場合に使用するのかについて説明します。本コースではさらに、BigQuery、Dataproc 上での Spark の実行、Cloud Data Fusion のパイプラインのグラフ、Dataflow でのサーバーレスのデータ処理など、データ変換用の複数の Google Cloud テクノロジーについて説明します。受講者には、Qwiklabs を使用して Google Cloud でデータパイプラインのコンポーネントを構築する実践演習を行っていただきます。

Enroll now

Or subscribe to Coursera Plus

And get unlimited access to Coursera

Here's a deal for you

Save money when you learn with a deal that may be relevant to this course.

All coupon codes, vouchers, and discounts are applied automatically unless otherwise noted.

Valid until August 30

Google AI App Builder

Learn how to use Gemini API and API Studio with a three-course series from Google DeepMind

What's inside

Syllabus

はじめに

このモジュールでは、コースおよびアジェンダについて紹介します

バッチデータパイプラインの構築の概要

このモジュールでは、データ読み込みに関するさまざまな方法を確認します。EL、ELT、ETL について、また何をどのタイミングで使用するか

Traffic lights

Read about what's good

what should give you pause

and possible dealbreakers

業界標準のデータパイプラインのフレームワーク (ELT、ELT、ETL) を学ぶ

データ変換に特化した Google Cloud テクノロジー (BigQuery、Dataproc、Data Fusion、Dataflow) を網羅

Qwiklabs を活用した実践的な演習で、データパイプラインの構築を体験

バッチデータパイプラインの構築に関する包括的な概要を提供

Cloud Data Fusion と Dataflow を使用したデータパイプライン管理の仕組みを理解できる

Save this course

Create your own learning path. Save this course to your list so you can find it easily later.

Save

Reviews summary

Gcpバッチデータパイプライン構築の実践的入門

受講者によると、このコースはGoogle Cloudにおけるバッチデータパイプラインの構築に焦点を当てた実践的な学習体験を提供しています。特に、Qwiklabsを通じたハンズオン演習が非常に役立つと評価されており、理論だけでなく実際の作業スキルを習得できます。BigQuery、Dataproc、Dataflowなど、主要なGCPデータサービスが包括的にカバーされており、データエンジニアリングの基礎を固めたいプロフェッショナルにとって価値のある内容です。ただし、GCPの基本的な知識がないと学習のペースについていくのが難しいと感じる声も一部にあります。

業務で直ちに活用できる知識を提供。

"このコースで学んだ内容は、実際の業務で直ちに活用できる実践的なものでした。特にETL/ELTの設計思想は役立ちます。"

"データ変換の手法やパイプラインの管理について、具体的な例を通して学べたので、自分のプロジェクトに適用しやすかったです。"

"サーバーレスのデータ処理やデータパイプラインの管理は、現代のデータプラットフォームを扱う上で非常に重要なスキルであり、本コースはそれらを効果的に教えてくれました。"

主要なデータツールを網羅し、全体像を把握。

"BigQuery、Dataproc、Dataflowなど、バッチ処理に必要なGCPの主要サービスがバランス良く解説されていて、全体の流れがよく理解できました。"

"データパイプラインの概念と、それに対応するGoogle Cloudの技術が分かりやすく説明されており、体系的に学べます。"

"各モジュールでGCPの異なるデータサービスに焦点を当てているため、幅広い知識を効率的に学ぶことができました。"

実践的なスキル習得に不可欠な体験を提供。

"Qwiklabsでの実践演習は、理論だけでなく実際に手を動かすことで理解を深めるのに非常に効果的でした。"

"多くのコースでハンズオンが不足している中、このコースのラボは非常に充実しており、実務に直結する内容で助けられました。"

"データパイプラインの構築プロセスを実際に体験できたことで、知識が定着しやすかったです。これはこのコースの最大の強みだと感じます。"

GCPの基礎がないと、学習が困難になる可能性。

"コース自体は素晴らしいのですが、GCPの基本的な知識がある程度必要だと感じました。全くの初心者には少しペースが速いかもしれません。"

"事前にQwiklabsで他のGCPの基礎コースをやっておくことをお勧めします。そうしないとついていくのが難しいと感じる場面がありました。"

"データエンジニアリングの経験はあったものの、GCPの特有の概念を理解するのに、追加の調査が必要な部分もありました。"

Activities

Be better prepared before your course. Deepen your understanding during and after it. Supplement your coursework and achieve mastery of the topics covered in Building Batch Data Pipelines on GCP 日本語版 with these activities:

Data Fusion を使用したデータパイプラインの管理プロジェクトを早く始める

Show steps

このプロジェクトでは、Data Fusion を使用してデータパイプラインを管理する方法について実践的に学びます。

Browse courses on Data Fusion

Show steps

プロジェクトのスコープを定義する
必要なリソースを収集する
Data Fusion 環境をセットアップする

EL、ELT、ETL の違いを練習する

Show steps

この演習では、ELT、ELT、ETL の違いを理解するのに役立ちます。

Show steps

EL、ELT、ETL の定義を調べる
各手法の長所と短所を比較する
さまざまなデータソースでの EL、ELT、ETL の使用事例を検討する

Dataflow を使用してサーバーレスのデータ処理のチュートリアルを完了する

Show steps

このチュートリアルでは、Dataflow を使用してデータ処理パイプラインを構築する方法について学びます。

Browse courses on Dataflow

Show steps

Dataflow の概要を調べる
Dataflow パイプラインを作成する
パイプラインのデバッグとデプロイを行う

Show all three activities

Career center

Learners who complete Building Batch Data Pipelines on GCP 日本語版 will develop knowledge and skills that may be useful to these careers:

Data Engineer

Data Engineers are responsible for the design, construction, and maintenance of data pipelines. They work with data scientists to understand the data needs of an organization and then create systems to collect, process, and store that data. This course may be useful for aspiring Data Engineers, as it provides an overview of the different technologies that can be used to build batch data pipelines. The course also covers best practices for data pipeline design and management.

See salaries and explore the career path for Data Engineer

Data Analyst

Data Analysts use data to solve business problems. They collect, clean, and analyze data to identify trends and patterns. This course may be useful for aspiring Data Analysts, as it provides an overview of the different technologies that can be used to process and analyze data. The course also covers best practices for data analysis and visualization.

See salaries and explore the career path for Data Analyst

Data Scientist

Data Scientists use data to build predictive models and solve complex business problems. They work with data engineers and data analysts to collect, process, and analyze data. This course may be useful for aspiring Data Scientists, as it provides an overview of the different technologies that can be used to build and deploy machine learning models. The course also covers best practices for data science and machine learning.

See salaries and explore the career path for Data Scientist

Software Engineer

Software Engineers design, develop, and maintain software systems. They work with data engineers to build and maintain data pipelines. This course may be useful for aspiring Software Engineers, as it provides an overview of the different technologies that can be used to build and deploy software systems. The course also covers best practices for software development and maintenance.

See salaries and explore the career path for Software Engineer

Database Administrator

Database Administrators manage and maintain databases. They work with data engineers to ensure that data is stored and processed efficiently. This course may be useful for aspiring Database Administrators, as it provides an overview of the different technologies that can be used to manage and maintain databases. The course also covers best practices for database administration.

See salaries and explore the career path for Database Administrator

Cloud Architect

Cloud Architects design and manage cloud computing environments. They work with data engineers to build and maintain data pipelines in the cloud. This course may be useful for aspiring Cloud Architects, as it provides an overview of the different technologies that can be used to build and manage cloud computing environments. The course also covers best practices for cloud architecture and management.

See salaries and explore the career path for Cloud Architect

Business Analyst

Business Analysts use data to understand the needs of an organization and develop solutions to business problems. They work with data engineers to collect, process, and analyze data. This course may be useful for aspiring Business Analysts, as it provides an overview of the different technologies that can be used to collect, process, and analyze data. The course also covers best practices for business analysis.

See salaries and explore the career path for Business Analyst

Product Manager

Product Managers are responsible for the development and launch of new products. They work with data engineers to collect, process, and analyze data to understand the needs of customers. This course may be useful for aspiring Product Managers, as it provides an overview of the different technologies that can be used to collect, process, and analyze data. The course also covers best practices for product management.

See salaries and explore the career path for Product Manager

Marketing Analyst

Marketing Analysts use data to understand the effectiveness of marketing campaigns. They work with data engineers to collect, process, and analyze data. This course may be useful for aspiring Marketing Analysts, as it provides an overview of the different technologies that can be used to collect, process, and analyze data. The course also covers best practices for marketing analysis.

See salaries and explore the career path for Marketing Analyst

Financial Analyst

Financial Analysts use data to understand the financial performance of a company. They work with data engineers to collect, process, and analyze data. This course may be useful for aspiring Financial Analysts, as it provides an overview of the different technologies that can be used to collect, process, and analyze data. The course also covers best practices for financial analysis.

See salaries and explore the career path for Financial Analyst

Reading list

We've selected seven books that we think will supplement your learning. Use these to develop background knowledge, enrich your coursework, and gain a deeper understanding of the topics covered in Building Batch Data Pipelines on GCP 日本語版.