Big Data: adquisición y almacenamiento de datos from Coursera

¿Estás interesado en tener un conocimiento más detallado sobre las herramientas y aplicaciones Big Data?

En este curso aprenderás los principios para comprender la terminología, conceptos básicos y herramientas más importantes para resolver problemas de análisis de datos enfocándonos en los problemas y las aplicaciones. El objetivo es proporcionar una visión de sistema para entender los retos más importantes que nos encontramos cuando trabajamos en entornos con grandes volúmenes de datos.

En el curso se plantea una introducción a diversas herramientas utilizadas de forma común en la comunidad como Hadoop, Spark o Hive y tendrás que resolver diferentes retos de análisis de datos mediante su uso.

Al terminar el curso habrás adquirido conocimientos sobre el ecosistema de herramientas Big Data incluyendo ejemplos de uso con problemas industriales y científicos. Tendrás una serie de recursos sobre cómo un análisis a realizar se traduce en una serie de operaciones de recolección de datos, monitorización, almacenamiento, análisis y creación de informes sobre los resultados obtenidos. También adquirirás un criterio para elegir cuál es la herramienta más adecuada para resolver un cierto problema de análisis de datos a partir de los requerimientos de uso de las herramientas.

El curso está orientado tanto a estudiantes universitarios de primeros cursos de estudios universitarios relacionados con la informática, la ingeniería o las matemáticas, como a otros estudiantes con conocimientos de programación, interesados en aprender cómo utilizar de análisis de datos con herramientas de código abierto. Para realizar los ejercicios es necesario utilizar una máquina virtual que deberá ser instalada en tu ordenador.

What's inside

Syllabus

INTRODUCCIÓN

LA MÁQUINA VIRTUAL

A lo largo de estos cursos vamos a trabajar con un conjunto de herramientas contenidas en la máquina virtual Cloudera. En este apartado te explicamos cómo descargar e instalar dicha máquina virtual en tu ordenador.

La MV-Cloudera requiere disponer de un equipo con las siguientes características: (1) máquina de 64 bits, (2) mínimo 6G de memoria (recomendable 8G), y (3) 20G disponibles en disco.

Ten en cuenta que bajar e instalar la máquina virtual te llevará tiempo dado el tamaño y complejidad de la misma

Visualiza los vídeos, contesta el cuestionario tantas veces como quieras, realiza el ejercicio práctico sobre Hadoop y HDFS, y accede a los foros para discutir los temas que te parezcan más interesantes.

Visualiza los vídeos, contesta el cuestionario tantas veces como quieras, y accede a los foros para discutir los temas que te parezcan más interesantes.

Visualiza los vídeos, contesta el cuestionario tantas veces como quieras, realiza el ejercicio práctico sobre Apache Scoop, y accede a los foros para discutir los temas que te parezcan más interesantes.

Visualiza los vídeos, contesta el cuestionario tantas veces como quieras, realiza los ejercicios prácticos sobre Apache Hive y Sparck, y accede a los foros para discutir los temas que te parezcan más interesantes.

Traffic lights

Read about what's good

what should give you pause

and possible dealbreakers

Enseña los conceptos básicos de Hadoop, que es estándar en la industria del análisis de datos

Analiza los desafíos de la adquisición de datos, que son relevantes para los profesionales de análisis de datos

Incluye ejercicios prácticos, que permiten a los estudiantes aplicar los conceptos aprendidos

Se enfoca en el análisis industrial de datos, lo que es una necesidad creciente en las empresas

Explora tecnologías SQL y NoSQL, que son esenciales para los profesionales de análisis de datos

Reviews summary

Fundamentos prácticos de big data

Según los estudiantes, el curso "Big Data: adquisición y almacenamiento de datos" ofrece una introducción sólida y práctica al mundo de Big Data. Muchos destacan la utilidad de cubrir herramientas esenciales como Apache Hadoop, Apache Spark y Hive. Los ejercicios prácticos y el uso de la máquina virtual Cloudera son vistos como puntos fuertes, aunque la instalación y configuración de la MV puede ser un desafío inicial para algunos. Se menciona que el curso es más adecuado para quienes tienen conocimientos de programación previos. En general, se percibe como altamente relevante para el desarrollo profesional en el área.

Mejor si ya sabes algo de programación.

"Aunque dice para principiantes, ayuda mucho saber programar antes de empezar."

"Si no tienes base técnica o de programación, puede costar un poco seguir el ritmo."

"El curso asume cierta familiaridad con la línea de comandos y conceptos básicos de informática."

Ofrece una base conceptual sólida.

"La parte teórica al inicio es muy importante para entender el ecosistema Big Data."

"Comprender el Teorema CAP y las bases NoSQL fue fundamental antes de ver las herramientas."

"Proporciona un buen contexto general del por qué y cómo del Big Data."

Buenas explicaciones de herramientas clave.

"La introducción a Hadoop, Spark y Hive es muy clara y útil."

"Aprendí lo básico de herramientas fundamentales que no conocía."

"Me gustaron mucho los módulos sobre Spark y Hive, bien explicados."

Las actividades prácticas son muy útiles.

"Los ejercicios con Scoopy y Hive fueron muy relevantes y aplicables."

"Me gustó mucho poder aplicar los conceptos directamente en la MV."

"Los labs realmente ayudan a entender cómo funcionan las herramientas en un entorno real."

Contenido muy aplicable al trabajo.

"Los conocimientos adquiridos son directamente útiles y aplicables en mi carrera profesional."

"Un curso esencial para cualquiera que quiera trabajar con grandes volúmenes de datos hoy día."

"Me siento más preparado para entrevistas en roles relacionados con Big Data."

Configurar la máquina virtual puede ser difícil.

"La instalación de la máquina virtual fue complicada y consumió mucho tiempo."

"Tuve problemas con la MV, requirió bastantes recursos en mi equipo."

"Se advierte al principio, pero la MV es un punto de fricción para empezar."

Activities

Be better prepared before your course. Deepen your understanding during and after it. Supplement your coursework and achieve mastery of the topics covered in Big Data: adquisición y almacenamiento de datos with these activities:

Review Apache Spark and Hive

Show steps

Strengthen knowledge of Apache Spark and Hive before beginning the course.

Browse courses on Apache Spark

Show steps

Review documentation and tutorials
Practice writing Spark and Hive queries

Tutoriales de Apache Hadoop

Show steps

Seguir tutoriales sobre Apache Hadoop permite a los estudiantes profundizar su comprensión del núcleo del ecosistema de Big Data.

Browse courses on Apache Hadoop

Show steps

Encontrar tutoriales acreditados
Seguir las instrucciones paso a paso
Experimentar con los ejemplos proporcionados

Apache Hadoop Ecosystem

Show steps

Solidify foundational knowledge of Hadoop by following existing tutorials and examples.

Browse courses on Apache Hadoop

Show steps

Identify suitable tutorials for beginners
Follow tutorials and complete exercises
Document your learnings and challenges

12 other activities

Expand to see all activities and additional details

Show all 15 activities

Collaboration and Idea-Sharing

Show steps

Connect with peers, share insights, and learn from diverse perspectives.

Show steps

Join online forums or study groups
Participate in discussions and ask clarifying questions
Share resources and tips

Crear diagramas de flujos

Show steps

La creación de diagramas de flujo ayuda a visualizar y comprender el flujo de datos en las aplicaciones de Big Data.

Browse courses on Spark

Show steps

Identificar los flujos de datos clave
Seleccionar símbolos y conectores adecuados
Dibujar el diagrama de flujo

Grupos de estudio de Spark

Show steps

Participar en grupos de estudio de Spark fomenta la colaboración, el intercambio de conocimientos y la comprensión más profunda de los conceptos.

Browse courses on Apache Spark

Show steps

Formar o unirse a un grupo de estudio
Establecer objetivos y agenda
Revisar materiales, compartir conocimientos

Sigue tutoriales interactivos de Cloudera para aprender las herramientas

Show steps

Revisa los tutoriales de Cloudera para familiarizarte con las herramientas de Apache Hadoop y mejorar tus habilidades prácticas.

Browse courses on Apache Hadoop

Show steps

Accede a la plataforma de Cloudera Learning Lab
Selecciona tutoriales relevantes para tu nivel de habilidad
Sigue los pasos y completa los ejercicios

Ejercicios de consultas Hive

Show steps

La práctica de consultas Hive mejora la capacidad de los estudiantes para extraer información de grandes conjuntos de datos mediante SQL.

Browse courses on Apache Hive

Show steps

Crear un entorno de práctica
Resolver consultas de muestra
Desarrollar consultas personalizadas

Resuelve ejercicios prácticos usando Hadoop y Spark

Show steps

Pon en práctica tus habilidades resolviendo ejercicios prácticos de Hadoop y Spark para reforzar tu comprensión y desarrollar fluidez.

Browse courses on Apache Hadoop

Show steps

Familiarízate con los conceptos básicos de Hadoop y Spark
Accede a plataformas como Coursera o edX para obtener ejercicios
Resuelve ejercicios y depura cualquier error
Analiza los resultados y mejora tu enfoque

SQL and NoSQL Data Formats

Show steps

Enhance understanding of SQL and NoSQL data formats and their applications.

Browse courses on SQL

Show steps

Review SQL and NoSQL concepts
Design and execute SQL queries to retrieve and manipulate data
Create and modify NoSQL databases to store and manage data
Experiment with different data formats and choose the most appropriate for specific scenarios
Document your experiments and observations

Data Visualization with Cloudera Impala

Show steps

Develop hands-on experience in data visualization using the Cloudera Impala tool.

Browse courses on Data Visualization

Show steps

Explore Cloudera Impala documentation and tutorials
Connect to a data source and load data
Create data visualizations using Impala
Present and document your visualizations

Become a Peer Mentor

Show steps

Reinforce your knowledge by sharing it with others.

Show steps

Identify opportunities to support other students
Provide guidance and answer questions
Reflect on your own understanding

Proyecto: Análisis de datos de uso del sitio web

Show steps

La creación de un proyecto de análisis de datos permite a los estudiantes aplicar lo aprendido para resolver problemas del mundo real.

Show steps

Definir objetivos y métricas
Recopilar y procesar datos
Analizar datos y extraer información
Visualizar y comunicar resultados

Big Data Acquisition and Analysis Project

Show steps

Develop practical skills in acquiring, cleaning, and analyzing big data using Apache Scoop.

Browse courses on Data Analysis

Show steps

Choose a real-world dataset
Design a data acquisition pipeline using Apache Scoop
Clean and prepare the acquired data
Perform exploratory data analysis to identify patterns and trends
Document your project and create a presentation

Community Data Project

Show steps

Apply acquired knowledge and contribute to a meaningful community project.

Show steps

Identify a community organization or project
Develop a plan to use big data tools to address a community need
Implement the plan and collect data
Analyze the data and present findings to the community

Career center

Learners who complete Big Data: adquisición y almacenamiento de datos will develop knowledge and skills that may be useful to these careers:

Data Analyst

Data Analysts study business problems that can be solved through the analysis of data. They are responsible for collecting, cleaning, and analyzing data, and then presenting their findings to stakeholders in a clear and concise manner. This course may be useful for Data Analysts as it provides an introduction to the tools and techniques used for big data analysis, including Apache Hadoop, Apache Hive, and Apache Spark. The course also covers the challenges of data acquisition and the use of NoSQL databases.

See salaries and explore the career path for Data Analyst

Data Engineer

Data Engineers design, build, and maintain data pipelines that collect, store, and process data. They also work with data scientists and other stakeholders to ensure that data is used effectively and efficiently. This course may be useful for Data Engineers as it provides an introduction to the tools and techniques used for big data analysis, including Apache Hadoop, Apache Hive, and Apache Spark. The course also covers the challenges of data acquisition and the use of NoSQL databases.

See salaries and explore the career path for Data Engineer

Data Scientist

Data Scientists use data to solve business problems and make predictions. They work with data engineers and other stakeholders to collect, clean, and analyze data, and then develop models that can be used to make predictions. This course may be useful for Data Scientists as it provides an introduction to the tools and techniques used for big data analysis, including Apache Hadoop, Apache Hive, and Apache Spark. The course also covers the challenges of data acquisition and the use of NoSQL databases.

See salaries and explore the career path for Data Scientist

Database Administrator

Database Administrators are responsible for the installation, configuration, and maintenance of database systems. They also work with other stakeholders to ensure that data is stored and accessed securely and efficiently. This course may be useful for Database Administrators as it provides an introduction to the tools and techniques used for big data analysis, including Apache Hadoop, Apache Hive, and Apache Spark. The course also covers the challenges of data acquisition and the use of NoSQL databases.

See salaries and explore the career path for Database Administrator

Software Engineer

Software Engineers design, develop, and maintain software applications. They work with other stakeholders to identify and solve business problems, and then develop and implement software solutions. This course may be useful for Software Engineers as it provides an introduction to the tools and techniques used for big data analysis, including Apache Hadoop, Apache Hive, and Apache Spark. The course also covers the challenges of data acquisition and the use of NoSQL databases.

See salaries and explore the career path for Software Engineer

Systems Analyst

Systems Analysts study business problems and design and implement solutions that use information technology. They work with other stakeholders to identify and solve business problems, and then develop and implement software solutions. This course may be useful for Systems Analysts as it provides an introduction to the tools and techniques used for big data analysis, including Apache Hadoop, Apache Hive, and Apache Spark. The course also covers the challenges of data acquisition and the use of NoSQL databases.

See salaries and explore the career path for Systems Analyst

Business Analyst

Business Analysts study business problems and design and implement solutions that use information technology. They work with other stakeholders to identify and solve business problems, and then develop and implement software solutions. This course may be useful for Business Analysts as it provides an introduction to the tools and techniques used for big data analysis, including Apache Hadoop, Apache Hive, and Apache Spark. The course also covers the challenges of data acquisition and the use of NoSQL databases.

See salaries and explore the career path for Business Analyst

Statistician

Statisticians collect, analyze, and interpret data. They work with other stakeholders to identify and solve problems, and then develop and implement statistical solutions. This course may be useful for Statisticians as it provides an introduction to the tools and techniques used for big data analysis, including Apache Hadoop, Apache Hive, and Apache Spark. The course also covers the challenges of data acquisition and the use of NoSQL databases.

See salaries and explore the career path for Statistician

Machine Learning Engineer

Machine Learning Engineers design, develop, and maintain machine learning models. They work with other stakeholders to identify and solve business problems, and then develop and implement machine learning solutions. This course may be useful for Machine Learning Engineers as it provides an introduction to the tools and techniques used for big data analysis, including Apache Hadoop, Apache Hive, and Apache Spark. The course also covers the challenges of data acquisition and the use of NoSQL databases.

See salaries and explore the career path for Machine Learning Engineer

Data Architect

Data Architects design and implement data architectures. They work with other stakeholders to identify and solve business problems, and then develop and implement data solutions. This course may be useful for Data Architects as it provides an introduction to the tools and techniques used for big data analysis, including Apache Hadoop, Apache Hive, and Apache Spark. The course also covers the challenges of data acquisition and the use of NoSQL databases.

See salaries and explore the career path for Data Architect

Big Data Architect

Big Data Architects design and implement big data architectures. They work with other stakeholders to identify and solve business problems, and then develop and implement big data solutions. This course may be useful for Big Data Architects as it provides an introduction to the tools and techniques used for big data analysis, including Apache Hadoop, Apache Hive, and Apache Spark. The course also covers the challenges of data acquisition and the use of NoSQL databases.

See salaries and explore the career path for Big Data Architect

Cloud Architect

Cloud Architects design and implement cloud architectures. They work with other stakeholders to identify and solve business problems, and then develop and implement cloud solutions. This course may be useful for Cloud Architects as it provides an introduction to the tools and techniques used for big data analysis, including Apache Hadoop, Apache Hive, and Apache Spark. The course also covers the challenges of data acquisition and the use of NoSQL databases.

See salaries and explore the career path for Cloud Architect

DevOps Engineer

DevOps Engineers work with other stakeholders to design and implement software solutions. They are responsible for the development, deployment, and maintenance of software applications. This course may be useful for DevOps Engineers as it provides an introduction to the tools and techniques used for big data analysis, including Apache Hadoop, Apache Hive, and Apache Spark. The course also covers the challenges of data acquisition and the use of NoSQL databases.

See salaries and explore the career path for DevOps Engineer

Data Integration Engineer

Data Integration Engineers design and implement data integration solutions. They work with other stakeholders to identify and solve business problems, and then develop and implement data integration solutions. This course may be useful for Data Integration Engineers as it provides an introduction to the tools and techniques used for big data analysis, including Apache Hadoop, Apache Hive, and Apache Spark. The course also covers the challenges of data acquisition and the use of NoSQL databases.

See salaries and explore the career path for Data Integration Engineer

Data Governance Analyst

Data Governance Analysts work with other stakeholders to design and implement data governance solutions. They are responsible for the management and protection of data assets. This course may be useful for Data Governance Analysts as it provides an introduction to the tools and techniques used for big data analysis, including Apache Hadoop, Apache Hive, and Apache Spark. The course also covers the challenges of data acquisition and the use of NoSQL databases.

See salaries and explore the career path for Data Governance Analyst