Introduction to Data Engineering on Google Cloud

What's inside

Syllabus

课程简介

这一部分欢迎您学习《Google Cloud 数据工程简介》课程，并简要介绍课程结构和学习目标。

数据工程任务和组件

本单元介绍数据工程师的职责。内容涵盖数据源和接收器、数据格式、Google Cloud 存储方案、元数据管理、使用 Analytics Hub 进行组织内部和外部的数据共享等重要概念。

Traffic lights

Read about what's good

what should give you pause

and possible dealbreakers

Introduces Google Cloud data engineering, which is relevant for professionals looking to leverage cloud-based solutions for data management and processing

Explores data replication and migration in Google Cloud, which are essential tasks for data engineers managing data across different systems and locations

Covers data pipeline patterns such as ELT and ETL, which are fundamental concepts for building efficient data workflows in Google Cloud

Discusses automation techniques using Cloud Scheduler, Workflows, and Cloud Composer, which are valuable for automating data engineering tasks in Google Cloud

Uses gcloud command-line tool, which may require learners to set up the Google Cloud SDK and configure their environment, potentially posing a barrier for some

Presented by Google Cloud, which is recognized for its innovative cloud solutions and expertise in data management and analytics

Reviews summary

Google cloud 数据工程基础入门

根据学习者的反馈，本课程为希望了解 Google Cloud 数据工程的学员提供了扎实的基础知识。许多学员认为课程内容结构清晰，对各种 GCP 数据服务（如 BigQuery, Dataproc）的介绍全面且易于理解。实践实验室被许多人称赞，认为它们是掌握概念和工具的关键环节。一些有经验的学员觉得部分内容可能偏基础，更适合初学者。整体而言，课程对于初次接触 GCP 数据工程的学员来说，是一个很好的起点。

课程全面涵盖Google Cloud关键数据服务，解释清晰易懂

"课程对核心的GCP数据服务都有涉及，讲得很清楚。"

"讲师的讲解很耐心，复杂的概念也变得容易消化。"

"模块划分合理，每个单元专注一个主题。"

为希望进入数据工程领域的初学者打下坚实基础

"课程内容对初学者非常友好，帮助我快速入门。"

"我感觉这门课为我理解GCP上的数据工程概念提供了很好的起点。"

"对于刚接触数据工程领域的人来说，这是个非常不错的引子。"

通过动手实践的实验室，有效巩固课程理论知识

"我特别喜欢课程提供的实验环境，能直接上手操作。"

"通过实验室练习，我对服务的使用有了更直观的认识。"

"Labs设计得很实用，贴近实际工作场景。"

课程内容对已有云或数据工程经验者可能显得基础

"如果你已经有一些云或数据背景，这门课可能有点慢。"

"课程主要聚焦概念和基础操作，进阶内容不多。"

"对于完全没接触过GCP的学员非常合适。"

Activities

Be better prepared before your course. Deepen your understanding during and after it. Supplement your coursework and achieve mastery of the topics covered in Introduction to Data Engineering on Google Cloud - 简体中文 with these activities:

复习SQL基础知识

Show steps

复习SQL基础知识，为使用BigQuery进行数据转换和加载做好准备。

Browse courses on SQL

Show steps

回顾SQL查询、聚合和连接操作。
练习编写SQL查询，处理各种数据集。

阅读《大数据：技术、架构与应用》

Show steps

阅读本书，了解大数据技术和架构，为理解Google Cloud数据工程服务奠定基础。

View Putting Knowledge to Work on Amazon

Show steps

阅读本书的重点章节，了解大数据处理和分析的技术。
记录关键概念和技术，以便在课程中应用。

练习使用gcloud命令行工具

Show steps

通过练习使用gcloud命令行工具，熟悉Google Cloud数据工程服务的操作。

Browse courses on gcloud

Show steps

学习gcloud的基本命令，例如创建和管理存储桶、数据集等。
练习使用gcloud命令，执行数据复制和迁移操作。

Four other activities

Expand to see all activities and additional details

Show all seven activities

阅读《数据工程：构建和管理数据管道》

Show steps

阅读本书，深入了解数据工程的原理和实践，为理解Google Cloud数据工程服务奠定基础。

View Putting Knowledge to Work on Amazon

Show steps

阅读本书的重点章节，了解数据管道的设计和管理。
记录关键概念和技术，以便在课程中应用。

创建数据工程概念的思维导图

Show steps

通过创建思维导图，可视化地组织和理解数据工程的关键概念和组件。

Show steps

确定数据工程的核心概念，例如数据源、数据管道、ETL、ELT等。
使用思维导图工具，将这些概念组织成一个清晰的结构。
添加细节和示例，以加深理解。

构建简单的ETL流水线

Show steps

通过构建一个简单的ETL流水线，实践课程中学习的提取、转换和加载数据的方法。

Show steps

选择一个公共数据集，例如CSV格式的销售数据。
使用Python和Pandas提取和转换数据。
将转换后的数据加载到BigQuery中。

创建数据流水线架构图

Show steps

通过创建数据流水线架构图，可视化地设计和理解数据工程流水线的组件和流程。

Show steps

选择一个实际的数据工程场景，例如网站访问日志分析。
使用绘图工具，设计数据流水线的架构图，包括数据源、数据处理组件和数据存储。
添加注释，解释每个组件的功能和作用。

Career center

Learners who complete Introduction to Data Engineering on Google Cloud - 简体中文 will develop knowledge and skills that may be useful to these careers:

数据工程师

数据工程师负责设计、构建和维护数据系统，以便数据科学家和分析师可以使用这些系统。本课程深入探讨了 Google Cloud 数据工程、数据工程师的角色和职责以及相关的 Google Cloud 产品和服务，为希望成为数据工程师的人员提供了坚实的基础。课程中关于数据复制和迁移、提取和加载数据流水线模式以及自动化技术的讲解，对于数据工程师来说至关重要。学习者通过本课程可以了解如何利用 Google Cloud 的各种工具和服务来应对数据工程挑战，提升在这一领域的专业技能。

See salaries and explore the career path for 数据工程师

大数据工程师

大数据工程师专门处理大规模数据集，包括设计、构建和维护大数据系统。本课程介绍了 Google Cloud 数据工程，以及各种 Google Cloud 大数据工具和服务，这对于大数据工程师来说非常重要。课程内容包括数据提取、加载和转换（ETL）流程、数据流水线模式以及使用 Dataproc 和 Dataproc Serverless 进行批量和流式数据处理等，这些都有助于大数据工程师构建高效的大数据解决方案。本课程为大数据工程师提供了必要的知识和技能，以便在 Google Cloud 上有效地处理和分析大规模数据。

See salaries and explore the career path for 大数据工程师

ETL 开发人员

ETL 开发人员专门负责设计、构建和维护数据提取、转换和加载（ETL）流程。本课程重点介绍 Google Cloud 的数据流水线模式，包括提取、加载和转换数据，以及提取、转换和加载数据。对于需要构建和维护复杂数据管道的 ETL 开发人员来说，本课程讲解内容非常实用。课程中对 gcloud 命令行工具、BigQuery Data Transfer Service、Dataform 和 Dataproc 等工具的介绍，可以帮助 ETL 开发人员更好地利用 Google Cloud 的能力。本课程为 ETL 开发人员提供了实际的知识和技能，以便在 Google Cloud 上高效处理数据。

See salaries and explore the career path for ETL 开发人员

数据平台工程师

数据平台工程师负责构建和维护组织的数据平台，包括数据存储、处理和分析基础设施。本课程对 Google Cloud 数据工程、数据工程师的角色和 Google Cloud 产品与服务的介绍，对数据平台工程师很有帮助。课程中讲解了重要概念，如数据源和接收器、数据复制、迁移、数据流水线模式和自动化技术。学习者通过了解如何使用 Google Cloud 工具来构建和维护数据平台，并应对数据工程的挑战，可以提升在数据平台领域的专业知识。

See salaries and explore the career path for 数据平台工程师

云数据架构师

云数据架构师专注于设计和规划云端数据解决方案，包括数据存储、处理和分析系统。本课程介绍的 Google Cloud 数据工程概念和工具，对于希望成为云数据架构师的人员非常重要。课程涵盖了 Google Cloud 的各种存储方案、数据复制和迁移方法以及数据流水线模式，有助于架构师根据业务需求设计高效、可靠的数据架构。此外，本课程对自动化技术的介绍也使云数据架构师能够更好地优化数据流程，提高系统的可扩展性和灵活性。

See salaries and explore the career path for 云数据架构师

数据迁移专家

数据迁移专家专门负责将数据从一个系统迁移到另一个系统，这在云迁移项目中至关重要。本课程重点介绍了 Google Cloud 的数据复制和迁移方法，包括 Storage Transfer Service、Transfer Appliance 和 Datastream 等工具。对于需要从本地环境迁移数据到 Google Cloud 的数据迁移专家来说，本课程详细讲解了所需的技术和流程。通过学习本课程，数据迁移专家可以掌握使用 Google Cloud 实现数据迁移的最佳实践和工具，从而成功完成数据迁移项目。

See salaries and explore the career path for 数据迁移专家

自动化工程师

自动化工程师负责设计、开发和实施自动化解决方案，以提高业务流程的效率和可靠性。本课程专门介绍了 Google Cloud 流水线的自动化模式和选项，例如 Cloud Scheduler、Workflows、Cloud Composer、Cloud Run functions 和 Eventarc，这对于自动化工程师非常实用。学习者能够通过本课程了解如何利用这些工具来实现数据处理流程的自动化，减少人为干预并提高系统的效率和可靠性。本课程为自动化工程师提供了利用 Google Cloud 构建自动化解决方案所需的知识和技能。

See salaries and explore the career path for 自动化工程师

数据仓库专家

数据仓库专家负责设计、构建和维护数据仓库系统，以便于数据分析和报告。本课程介绍的 Google Cloud 数据工程概念和技术，对数据仓库专家来说至关重要。课程涵盖了数据提取、转换和加载（ETL）、数据复制和迁移以及数据流水线等关键方面，这有助于数据仓库专家构建高效的数据仓库解决方案。本课程中关于 BigQuery 和 Bigtable 的讲解，也为数据仓库专家提供了在 Google Cloud 上实施数据仓库的知识。

See salaries and explore the career path for 数据仓库专家

云解决方案工程师

云解决方案工程师负责为客户设计和实施云解决方案，包括数据工程解决方案。本课程介绍 Google Cloud 数据工程的核心概念和相关服务，对于云解决方案工程师来说非常重要。课程内容包括数据复制和迁移、提取和加载数据流水线模式以及自动化技术等，这些都能够帮助云解决方案工程师为客户提供有效的数据解决方案。此外，课程中对各种 Google Cloud 工具和服务的讲解，也使云解决方案工程师能够更好地评估并选择最适合客户需求的解决方案。

See salaries and explore the career path for 云解决方案工程师

機器學習工程師

机器学习工程师负责开发和部署机器学习模型。构建可靠的机器学习系统需要强大的数据基础设施。本课程介绍了 Google Cloud 数据工程的核心概念和工具，如数据流水线模式、数据存储方案和自动化技术，这些对于机器学习工程师来说非常有益。通过了解如何有效地管理和处理数据，机器学习工程师可以更好地构建用于模型训练和部署的数据管道。此外，本课程中关于 Google Cloud 各种数据存储和处理服务的讲解，也为机器学习工程师提供了合适的工具选择。

See salaries and explore the career path for 機器學習工程師

数据分析师

数据分析师通过分析数据来发现趋势、模式和见解，从而为业务决策提供支持。虽然数据分析师并非直接构建数据管道，但了解数据工程过程对于有效分析至关重要。本课程介绍了数据工程的基础概念，如数据源、数据格式、数据复制、提取和加载等。数据分析师通过学习这些内容，可以更好地理解数据的来源和处理过程，从而提高数据分析的准确性和可靠性。此外，本课程中关于 BigQuery 的讲解，对于数据分析师从 Google Cloud 平台获取和分析数据很有帮助。

See salaries and explore the career path for 数据分析师

DevOps 工程师

DevOps 工程师负责整合开发和运维流程，以提高软件交付的速度和质量。虽然本课程不直接针对 DevOps，但它介绍的数据工程和自动化概念，对 DevOps 工程师非常有用。本课程中关于 Google Cloud 流水线自动化模式和工具的讲解，例如 Cloud Scheduler、Workflows 和 Cloud Composer，可以帮助 DevOps 工程师优化数据流程的自动化。了解数据处理流程对于有效管理云基础设施也很重要。DevOps 工程师通过学习本课程，可以更好地理解如何在 Google Cloud 环境中整合数据工程流程，从而实现持续集成和持续交付。

See salaries and explore the career path for DevOps 工程师

数据库管理员

数据库管理员负责维护和管理数据库系统，确保数据的安全、可用和性能。本课程虽然不专注于数据库管理，但其中关于 Google Cloud 存储方案、数据复制和迁移以及数据流水线模式的讲解，对于数据库管理员来说很有价值。了解这些概念和技术可以帮助数据库管理员更有效地管理云端数据库，并参与数据迁移和集成。此外，本课程对 BigQuery 和 Bigtable 等 Google Cloud 数据库服务的介绍，也有助于数据库管理员更好地利用云服务。

See salaries and explore the career path for 数据库管理员

商业智能开发人员

商业智能开发人员构建和维护商业智能解决方案，使用数据可视化和分析工具来帮助企业做出更好的决策。虽然本课程不直接涵盖商业智能开发，但它介绍了数据工程的基础知识，商业智能开发人员需要了解这些知识才能从各种来源收集、整合和准备数据。本课程对 Google Cloud 数据工程、数据工程师的角色以及 Google Cloud 产品和服务的介绍，对于商业智能开发人员理解数据处理流程很有帮助。此外，关于数据提取和加载以及数据流水线模式的讲解，也为商业智能开发人员提供了数据管理和优化的知识。

See salaries and explore the career path for 商业智能开发人员

数据质量分析师

数据质量分析师负责评估和提高数据质量，确保数据在整个生命周期中的准确性、完整性和一致性。了解数据工程流程对于数据质量分析师了解数据是如何提取、转换和加载的至关重要。本课程介绍了数据工程中的各种概念，包括数据源、数据格式和数据流水线。学习者能够通过本课程了解数据处理的每个阶段，更好地识别数据质量问题，并制定改进措施。理解不同 Google Cloud 服务（如 BigQuery 和 Storage Transfer Service）的数据处理方式，有助于数据质量分析师更有效地管理数据质量。

See salaries and explore the career path for 数据质量分析师

Introduction to Data Engineering on Google Cloud - 简体中文

Here's a deal for you

What's inside

Syllabus

Traffic lights

Save this course

Reviews summary

Google cloud 数据工程基础入门

Activities

Career center

Reading list

Share

Similar courses