Serverless Data Processing with Dataflow: Develop Pipelines en Español from Coursera

What's inside

Syllabus

Introducción

En este módulo, se presenta el curso y su descripción

Revisión de conceptos de Beam

Revise los conceptos principales de Apache Beam y cómo aplicarlos para escribir sus propias canalizaciones de procesamiento de datos.

Ventanas, marcas de agua y activadores

En este módulo, aprenderá a procesar datos en transmisiones con Dataflow. Para ello, debe conocer tres conceptos principales: cómo agrupar datos en ventanas, la importancia de las marcas de agua para saber cuándo la ventana está lista para producir resultados, y cómo puede controlar cuándo y cuántas veces los emitirá la ventana.

Fuentes y receptores

En este módulo, aprenderá acerca de las características de las fuentes y los receptores en Google Cloud Dataflow. En el módulo hay algunos ejemplos de E/S de Text, E/S de File, E/S de BigQuery, E/S de PubSub, E/S de KafKa, E/S de BigTable, E/S de Avro y DoFn divisible. En el módulo también se indican algunas funciones útiles asociadas a cada E/S.

Esquemas

En este módulo, se presentarán los esquemas, que les proporcionan a los desarrolladores una manera de expresar datos estructurados en sus canalizaciones de Beam.

Estado y Temporizadores

Este módulo abarca Estado y Temporizadores, dos funciones potentes que puede usar en su DoFn para implementar transformaciones con estado.

Prácticas Recomendadas

En este módulo, analizaremos las prácticas recomendadas y revisaremos patrones comunes que maximizan el rendimiento de sus canalizaciones de Dataflow.

Dataflow SQL y DataFrames

En este módulo, se mencionan dos API nuevas para representar su lógica empresarial en Beam: SQL y Dataframes.

Notebooks de Beam

Este módulo abarcará notebooks de Beam, una interfaz para desarrolladores de Python a fin de realizar incorporaciones en el SDK de Beam y desarrollar sus canalizaciones iterativamente en un entorno de notebooks Jupyter.

Resumen

En este módulo, se ofrece un resumen del curso.

Good to know

Know what's good

, what to watch for

, and possible dealbreakers

Explora conceptos de Apache Beam que son esenciales para desarrollar canalizaciones de procesamiento de datos

Profundiza en el procesamiento de datos en transmisiones con Dataflow, un aspecto fundamental para manejar datos en tiempo real

Enseña cómo trabajar con ventanas, marcas de agua y activadores, conceptos cruciales para el procesamiento de datos en tiempo real

Proporciona una variedad de opciones de fuentes y receptores para las canalizaciones, permitiendo una integración flexible con diferentes sistemas de datos

Introduce los esquemas, una herramienta valiosa para expresar datos estructurados y mejorar la legibilidad de las canalizaciones

Cubre el estado y los temporizadores, funcionalidades avanzadas para implementar transformaciones con estado y mejorar la lógica de la canalización

Comparte prácticas recomendadas para maximizar el rendimiento de las canalizaciones de Dataflow, un aspecto esencial para optimizar el procesamiento de datos

Presenta SQL y Dataframes, dos API adicionales para representar la lógica empresarial en Beam, ampliando las opciones para los desarrolladores

Incluye notebooks de Beam, un entorno interactivo para el desarrollo iterativo de canalizaciones de Beam, lo que facilita la depuración y optimización del código

Activities

Be better prepared before your course. Deepen your understanding during and after it. Supplement your coursework and achieve mastery of the topics covered in Serverless Data Processing with Dataflow: Develop Pipelines en Español with these activities:

Revisar conceptos de Apache Beam

Show steps

Repasa los conceptos básicos de Apache Beam para preparar mejor tu mente para el curso.

Browse courses on Apache Beam

Show steps

Leer la documentación oficial de Apache Beam
Resolver ejercicios prácticos en el sitio web de Apache Beam

Seguir tutoriales en el sitio web oficial de Google Cloud

Show steps

Extiende tu comprensión sobre Dataflow explorando tutoriales guiados en el sitio web oficial de Google Cloud.

Browse courses on Google Cloud

Show steps

Completar el tutorial de inicio rápido de Dataflow
Seguir los tutoriales paso a paso sobre temas específicos de Dataflow

Participar en grupos de estudio o tutorías entre compañeros

Show steps

Mejora tu comprensión y habilidades de Dataflow colaborando con compañeros en grupos de estudio o tutorías.

Browse courses on Dataflow

Show steps

Formar o unirse a un grupo de estudio con otros estudiantes del curso
Reunirse regularmente para discutir conceptos, resolver problemas y compartir conocimientos

Five other activities

Expand to see all activities and additional details

Show all eight activities

Asistir a talleres en línea sobre Dataflow

Show steps

Amplía tus conocimientos y habilidades prácticas asistiendo a talleres en línea impartidos por expertos de la industria.

Browse courses on Dataflow

Show steps

Investigar y registrarse en talleres relevantes para Dataflow
Participar activamente en las sesiones y discusiones del taller

Resolver ejercicios de Dataflow en plataformas de práctica

Show steps

Refuerza tu dominio de Dataflow practicando ejercicios en plataformas en línea como Codeforces o HackerRank.

Browse courses on Dataflow

Show steps

Resolver problemas de codificación relacionados con Dataflow
Participar en concursos y desafíos de programación de Dataflow

Contribuir a proyectos de código abierto relacionados con Dataflow

Show steps

Profundiza tu comprensión de Dataflow y contribuye a la comunidad de código abierto colaborando en proyectos relacionados con Dataflow.

Browse courses on Dataflow

Show steps

Identificar proyectos de código abierto relevantes para Dataflow
Revisar el código fuente y comprender la base del proyecto
Identificar áreas para contribuciones y proponer cambios
Enviar solicitudes de extracción y colaborar con los mantenedores del proyecto

Crear un proyecto paralelo relacionado con Dataflow

Show steps

Aplica tus conocimientos de Dataflow creando un proyecto paralelo que resuelva un problema del mundo real o explore un concepto interesante.

Browse courses on Dataflow

Show steps

Idear una idea de proyecto que utilice Dataflow
Diseñar y desarrollar la arquitectura de tu proyecto
Implementar el proyecto utilizando Dataflow y otras tecnologías complementarias
Documentar y compartir tu proyecto

Iniciar un proyecto personal que aproveche Dataflow

Show steps

Aplica tus habilidades de Dataflow en un proyecto del mundo real definiendo un problema, diseñando una solución e implementándola con Dataflow.

Browse courses on Dataflow

Show steps

Identificar un problema o necesidad que pueda resolverse con Dataflow
Diseñar la arquitectura y los componentes de tu solución
Implementar la solución utilizando Dataflow y otras tecnologías complementarias
Evaluar y mejorar el rendimiento y la eficiencia de tu solución

Career center

Learners who complete Serverless Data Processing with Dataflow: Develop Pipelines en Español will develop knowledge and skills that may be useful to these careers:

Data Scientist

A Data Scientist analyzes and interprets data in order to provide insights and make data-driven recommendations. The course's focus on processing and analyzing data could provide someone in this career field with valuable knowledge and experience.

See salaries and explore the career path for Data Scientist

Data Visualization Analyst

A Data Visualization Analyst analyzes and visualizes data in order to provide insights and communicate complex information to stakeholders. The course's focus on data processing and analysis may provide someone in this career field with valuable knowledge and experience.

See salaries and explore the career path for Data Visualization Analyst

Big Data Analyst

A Big Data Analyst analyzes large and complex data sets in order to extract insights and trends that would not be possible from smaller data sets. As an interdisciplinary field of study that draws inspiration from computer science, statistics, and business, this course could serve as a helpful introduction to some of the languages, frameworks, and tools this role requires.

See salaries and explore the career path for Big Data Analyst

Data Integration Engineer

A Data Integration Engineer designs and builds data integration solutions to enable the sharing and exchange of data between different systems and applications. This course could be helpful in providing an introduction to some of the frameworks and tools used in this role.

See salaries and explore the career path for Data Integration Engineer

Database Administrator

A Database Administrator is responsible for the maintenance, configuration, and performance of databases. The course's focus on data engineering may provide someone in this career field with valuable knowledge and experience.

See salaries and explore the career path for Database Administrator

Database Engineer

A Database Engineer designs, develops, and maintains databases and database systems. The course's focus on data engineering may provide someone in this career field with valuable knowledge and experience.

See salaries and explore the career path for Database Engineer

Business Analyst

A Business Analyst identifies and analyzes business needs, and provides solutions by implementing software or process improvements. This course could serve as a helpful introduction to data analysis for someone in this role.

See salaries and explore the career path for Business Analyst

Machine Learning Engineer

A Machine Learning Engineer develops and maintains machine learning models to improve the performance of systems and applications. Though this course is not specifically about machine learning, its emphasis on data processing and data engineering may entice those interested in this role.

See salaries and explore the career path for Machine Learning Engineer

Data Architect

A Data Architect designs and builds data systems and architectures. Like the Data Engineer role, this course may only scratch the surface of what a Data Architect needs to know, but it could help provide foundational knowledge for this job.

See salaries and explore the career path for Data Architect

Data Engineer

A Data Engineer designs, builds, and maintains the infrastructure responsible for storing, processing, and analyzing data within an organization. While a Data Engineer would typically receive a more foundational education in computer science and mathematics than what is provided by this course, the course's focus on big data storage and analysis could still be of benefit to someone in this role.

See salaries and explore the career path for Data Engineer

Information Architect

An Information Architect designs and builds information systems and architectures. Like the Data Architect role, this course may only scratch the surface of what an Information Architect needs to know, but it could help provide foundational knowledge for this job.

See salaries and explore the career path for Information Architect

Software Developer

A Software Developer designs and develops software applications and systems. While this course only takes a partial look at software development (particularly data engineering), it could serve as an introduction to the industry.

See salaries and explore the career path for Software Developer

Consultant

A Consultant provides professional advice and guidance to organizations in various fields. While this role is not particularly technical, having a foundational understanding of data engineering could be useful for someone in this role when providing advice to clients.

See salaries and explore the career path for Consultant

Project Manager

A Project Manager plans, executes, and closes projects. While this role is not particularly technical, having a foundational understanding of data engineering could be useful for someone in this role during the planning and execution phases.

See salaries and explore the career path for Project Manager

Technical Writer

A Technical Writer creates and maintains technical documentation, such as user manuals, white papers, and help files. This course may provide someone in this career field with valuable knowledge and experience.

See salaries and explore the career path for Technical Writer

Serverless Data Processing with Dataflow

Develop Pipelines en Español

What's inside

Syllabus

Good to know

Save this course

Activities

Career center

Reading list

Share

Similar courses