ETL مع Python : استخراج وتحويل وتحميل البيانات from Coursera

1. اهميه عمليه ETL وكيفيه إعداد بيئة عمل ETL وكيفيه اعداد مشروع ETL بالتفصيل

2. تنفيذ ETL لاستخراج البيانات من المصدر (ملف CSV) وإعادة صياغة البيانات المحملة باستخدام Pandas

3. تحميل البيانات في الوجهة النهائيه لها (قاعدة بيانات MySQL)

لنفترض ان لدينا شركة توظيف الكتروني عندها مئات من الوظائف التي تتم اضافتها علي موقعهم الالكتروني بشكل يومي. فريق تحليل البيانات بالشركة يواجهون مشكله كبيره وهي اضطرارهم الي العمل لمدة ١٦ ساعة بمعدل يومين عمل في كل مره يحتاجون فيها لاستخراج تقرير عن عدد الوظايف المتاحة علي الموقع لكل مسمى وظيفي ومتوسط المرتبات لكل مسمى وظيفي علي حدي. بعد مراجعه مهام الفريق تبين ان اكثر وقت مبذول يكون في استخراج (E) البيانات من ملف CSV يحتوي علي الوظائف المدرجه بالموقع الالكتروني ثم معالجه هذه البيانات وتحويلها (T) واخيرا تحميلها (L) مجددا بقاعده بيانات MySQL لتكون جاهزه للعمل عليها واستخراج التقرير المطلوب. بعد مراجعه المختصين تبين ان هذه الخطوات تشكل عمليه ال ETL او ما يعرف باستخراج وتحويل وتحميل البيانات والتي يمكن تنفيذها بلغه برمجه مثل بايثون لتتم بعد ذللك بشكل تلقائي في دقائق معدوده وتوفر الجهد والوقت المبذول من فريق تحليل البيانات في هذه الشركه ليكون تركيزهم الاكبر علي تحليل البيانات واصدار التقارير. مهمتنا في هذا المشروع هو تنفيذ ETL يقوم بهذه المهمه في دقائق معدودة.

خلال هذا المشروع ، ستكتسب المهارات الأساسية المتعلقة بعمليات ETL مثل استخراج البيانات من ملفات CSV باستخدام مكتبة Pandas ، وتحويل البيانات باستخدام مكتبه Pandas في دفتر Jupyter وتحميل البيانات المحولة إلى قاعدة بيانات MySQL. هذا المشروع فريد من نوعه لأنه يوفر تطبيقًا عمليًا للمفاهيم الأساسية التي يمكن تطبيقها في مختلف الصناعات مثل التمويل أو الرعاية الصحية أو التسويق.

لتجتاز المشروع ، يجب أن يكون لديك فهم أساسي لبناء جملة Python مثل تعيين المتغيرات والدوال ودوال lambda واستيراد المكتبات واستدعاء الدوال ومعالجة النصوص والتعامل مع الاخطاء البرمجيه وهياكل البيانات مثل المجموعات والقوائم والقواميس . يجب أن يكون لديك فهم أساسي لقواعد البيانات و MySQL بما في ذلك إنشاء قواعد البيانات والجداول والمستخدمين. يُفضل أن يكون لديك معرفة بدوال Pandas مثل [pd.read_csv, drop_duplicates, reset_index, apply, drop, head, info, isnull, duplicated, reset_index, unique, replace, to_csv]. كما يفصل ان يكون لديك معرفه بكيفيه تنفيذ السطور البرمجيه في Jupyter Notebook.

من خلال إكمال هذا المشروع، ستكتسب خبرة قيمة في العمل باستخدام أدوات مثل Python و MySQL و Jupyter والتي يمكن أن تساعدك على العمل بكفاءة أكبر خلال حياتك المهنية. على سبيل المثال ، إذا كنت تعمل في مؤسسة تحتاج إلى معالجة كميات كبيرة من بيانات المعاملات المالية الأولية بشكل منتظم ، فيمكنك استخدام هذه المهارات لأتمتة العملية، مما يوفر الوقت والمال والجهد مع زيادة الدقة.

What's inside

Syllabus

ملخص المشروع

تم تصميم هذا المشروع "استخراج وتحويل واعاده تحميل البيانات باستخدام لغه البرمجه بايثون" للأفراد المهتمين بتعلم أساسيات عمليات ETL (الاستخراج والتحويل والتحميل) باستخدام Python. في هذا المشروع الذي يستغرق ساعة واحدة- سوف تتعلم: 1. اهميه عمليه ETL وكيفيه إعداد بيئة عمل ETL وكيفيه اعداد مشروع ETL بالتفصيل 2. تنفيذ ETL لاستخراج البيانات من المصدر (ملف CSV) وإعادة صياغة البيانات المحملة باستخدام Pandas 3. تحميل البيانات في الوجهة النهائيه لها (قاعدة بيانات MySQL) لنفترض ان لدينا شركة توظيف الكتروني عندها مئات من الوظائف التي تتم اضافتها علي موقعهم الالكتروني بشكل يومي. فريق تحليل البيانات بالشركة يواجهون مشكله كبيره وهي اضطرارهم الي العمل لمدة ١٦ ساعة بمعدل يومين عمل في كل مره يحتاجون فيها لاستخراج تقرير عن عدد الوظايف المتاحة علي الموقع لكل مسمى وظيفي ومتوسط المرتبات لكل مسمى وظيفي علي حدي. بعد مراجعه مهام الفريق تبين ان اكثر وقت مبذول يكون في استخراج (E) البيانات من ملف CSV يحتوي علي الوظائف المدرجه بالموقع الالكتروني ثم معالجه هذه البيانات وتحويلها (T) واخيرا تحميلها (L) مجددا بقاعده بيانات MySQL لتكون جاهزه للعمل عليها واستخراج التقرير المطلوب. بعد مراجعه المختصين تبين ان هذه الخطوات تشكل عمليه ال ETL او ما يعرف باستخراج وتحويل وتحميل البيانات والتي يمكن تنفيذها بلغه برمجه مثل بايثون لتتم بعد ذللك بشكل تلقائي في دقائق معدوده وتوفر الجهد والوقت المبذول من فريق تحليل البيانات في هذه الشركه ليكون تركيزهم الاكبر علي تحليل البيانات واصدار التقارير. مهمتنا في هذا المشروع هو تنفيذ ETL يقوم بهذه المهمه في دقائق معدودة. خلال هذا المشروع ، ستكتسب المهارات الأساسية المتعلقة بعمليات ETL مثل استخراج البيانات من ملفات CSV باستخدام مكتبة Pandas ، وتحويل البيانات باستخدام مكتبه Pandas في دفتر Jupyter وتحميل البيانات المحولة إلى قاعدة بيانات MySQL. هذا المشروع فريد من نوعه لأنه يوفر تطبيقًا عمليًا للمفاهيم الأساسية التي يمكن تطبيقها في مختلف الصناعات مثل التمويل أو الرعاية الصحية أو التسويق. لتجتاز المشروع ، يجب أن يكون لديك فهم أساسي لبناء جملة Python مثل تعيين المتغيرات والدوال ودوال lambda واستيراد المكتبات واستدعاء الدوال ومعالجة النصوص والتعامل مع الاخطاء البرمجيه وهياكل البيانات مثل المجموعات والقوائم والقواميس . يجب أن يكون لديك فهم أساسي لقواعد البيانات و MySQL بما في ذلك إنشاء قواعد البيانات والجداول والمستخدمين. يُفضل أن يكون لديك معرفة بدوال Pandas مثل [pd.read_csv, drop_duplicates, reset_index, apply, drop, head, info, isnull, duplicated, reset_index, unique, replace, to_csv]. كما يفصل ان يكون لديك معرفه بكيفيه تنفيذ السطور البرمجيه في Jupyter Notebook. من خلال إكمال هذا المشروع، ستكتسب خبرة قيمة في العمل باستخدام أدوات مثل Python و MySQL و Jupyter والتي يمكن أن تساعدك على العمل بكفاءة أكبر خلال حياتك المهنية. على سبيل المثال ، إذا كنت تعمل في مؤسسة تحتاج إلى معالجة كميات كبيرة من بيانات المعاملات المالية الأولية بشكل منتظم ، فيمكنك استخدام هذه المهارات لأتمتة العملية، مما يوفر الوقت والمال والجهد مع زيادة الدقة.

Good to know

Know what's good

, what to watch for

, and possible dealbreakers

يهدف هذا المشروع إلى تعليم المهتمين بعمليات ETL (استخراج وتحويل وتحميل) باستخدام لغة بايثون حيث سيكتسبون مهارات أساسية في هذا المجال

يضع المشروع سيناريو لشركة توظيف إلكتروني تواجه مشاكل في معالجة البيانات بسبب الحجم الكبير للوظائف لديها، ويوضح كيف يمكن لمهارات ETL أن تحل هذه المشاكل

يساعد المشروع في إعداد بيئة عمل ETL وإعداد مشاريع ETL بشكل تفصيلي

ينفذ المشروع استخراج البيانات من ملفات CSV وتحويلها باستخدام مكتبة Pandas

يعلم المشروع كيفية تحميل البيانات في قواعد بيانات MySQL

يفيد المشروع الأفراد الذين يعملون في مؤسسات تحتاج إلى معالجة كميات كبيرة من البيانات الأولية بانتظام حيث يسمح لهم بأتمتة العملية مما يوفر الوقت والمال والجهد

Activities

Be better prepared before your course. Deepen your understanding during and after it. Supplement your coursework and achieve mastery of the topics covered in ETL مع Python : استخراج وتحويل وتحميل البيانات with these activities:

Review SQL Basics

Show steps

Reviewing SQL basics will help prepare you for this course by refreshing your understanding of SQL syntax and database concepts, which are essential for working with data in MySQL.

Show steps

Re-watch SQL tutorials on data types, tables, and queries.
Complete a few practice exercises on creating and querying databases.

Review Python Basics

Show steps

Reviewing Python basics will help you prepare for this course by refreshing your understanding of basic Python concepts, including variables, data types, and control flow.

Browse courses on Python Basics

Show steps

Re-watch Python tutorials on variables, data types, and control flow.
Complete a few practice exercises on these concepts to test your understanding.

Follow a Tutorial on Jupyter Notebooks

Show steps

Following a tutorial on Jupyter Notebooks will help you become more proficient in using this tool, which is essential for data exploration and analysis in this course.

Browse courses on Jupyter Notebooks

Show steps

Find a comprehensive tutorial on Jupyter Notebooks.
Work through the tutorial, completing all the exercises.
Experiment with Jupyter Notebooks by creating your own scripts.

Ten other activities

Expand to see all activities and additional details

Show all 13 activities

اتباع دروس حول الاستعلامات المعقدة باستخدام MySQL

Show steps

تتيح لك البرامج التعليمية الموجهة توسيع معرفتك باستعلامات MySQL المعقدة التي يمكن استخدامها لاستخراج وفلترة البيانات الضرورية.

Browse courses on MySQL

Show steps

العثور على دروس عبر الإنترنت حول استعلامات MySQL المعقدة
دراسة الأمثلة والتمارين حول الاستعلامات
ممارسة الاستعلامات على قاعدة بيانات عينة

Extract Data from CSV Files

Show steps

Practicing data extraction from CSV files will directly reinforce what you learn about using Pandas for data manipulation in this course.

Browse courses on Pandas

Show steps

Find a sample CSV file online or create your own.
Use Pandas to read the CSV file into a DataFrame.
Filter and select specific columns and rows from the DataFrame.
Export the extracted data to a new CSV file.

استخدام مكتبة Pandas لتنظيف وتحويل البيانات

Show steps

يساعدك التدريب على استخدام Pandas في تصحيح مشكلات البيانات وتحويلها إلى الشكل المطلوب لتحليل البيانات.

Browse courses on Pandas

Show steps

استيراد مكتبة Pandas وبيانات عينة
إزالة السطور المكررة وإصلاح القيم المفقودة
تحويل البيانات وتحويلها إلى أنواع بيانات مناسبة
حفظ البيانات المحولة إلى ملف جديد

Attend a Webinar on Python for Data Analysis

Show steps

Attending a webinar on Python for data analysis will expose you to practical applications of Python in the field, broadening your understanding of how these concepts are used in real-world scenarios.

Browse courses on Python

Show steps

Search for upcoming webinars on Python for data analysis.
Register for a webinar that aligns with your interests.
Attend the webinar and take notes on key concepts and insights.

كتابة استعلامات SQL لمهام ETL شائعة

Show steps

يساعدك التدريب العملي على كتابة استعلامات SQL لإجراء مهام ETL النموذجية، مما يعزز فهمك لعمليات البيانات.

Browse courses on SQL

Show steps

مراجعة مهام ETL الشائعة مثل التجميع والتصفية والانضمام
كتابة استعلامات SQL لإجراء هذه المهام على مجموعة بيانات عينة
تحليل نتائج الاستعلام وفهم الخوارزميات الأساسية

التدرب على حل مشاكل ETL الشائعة

Show steps

يزودك التدريب العملي بحل مشاكل ETL الشائعة بتجربة عملية في إيجاد الأخطاء وتصحيحها في عمليات ETL الخاصة بك.

Browse courses on ETL

Show steps

جمع مشكلات ETL الشائعة وحالات الاستخدام
تحليل المشاكل وتحديد الأسباب الجذرية المحتملة
استكشاف خيارات الحل وتنفيذ الإصلاحات المناسبة
اختبار الإصلاحات والتأكد من حل المشكلات

Write a Blog Post on ETL Processes

Show steps

Creating a blog post on ETL processes will help you synthesize your understanding of the ETL concepts covered in this course and enhance your communication skills.

Browse courses on ETL

Show steps

Research different ETL techniques and tools.
Outline the main steps involved in an ETL process.
Write a draft of your blog post, explaining the concepts clearly and concisely.
Review and edit your post for clarity and accuracy.
Publish your blog post and share it with others.

إنشاء مشروع ETL متكامل باستخدام Python و MySQL

Show steps

يمنحك إنشاء مشروع ETL متكامل فرصة تطبيق مفاهيمك ومهاراتك في عملية ETL حقيقية، مما يعزز فهمك ويحسن قدراتك العملية.

Browse courses on ETL

Show steps

تحديد مجموعة بيانات ومصدر البيانات والوجهة
تصميم تدفق ETL بما في ذلك خطوات الاستخراج والتحويل والتحميل
تطوير نصوص Python لتنفيذ عملية ETL
اختبار مشروع ETL والتأكد من صحة النتائج

Contribute to a Python Data Analysis Project on GitHub

Show steps

Contributing to a Python data analysis project on GitHub will provide you with hands-on experience in applying your skills to a real-world project and collaborating with others.

Browse courses on Python

Show steps

Find an open-source Python data analysis project on GitHub that interests you.
Review the project's documentation and codebase.
Identify an area where you can contribute, such as fixing a bug or adding a new feature.
Fork the project and create a branch for your changes.
Make your changes and submit a pull request.

Build a Simple ETL Pipeline for a Real-World Dataset

Show steps

Building a simple ETL pipeline for a real-world dataset will challenge you to apply all the concepts covered in this course and gain practical experience in data engineering.

Browse courses on ETL

Show steps

Choose a small but interesting dataset from a public repository.
Design your ETL pipeline, including data extraction, transformation, and loading.
Implement your ETL pipeline using Python and Pandas.
Test your pipeline and ensure that it produces the desired results.
Document your pipeline and share your findings.

Career center

Learners who complete ETL مع Python : استخراج وتحويل وتحميل البيانات will develop knowledge and skills that may be useful to these careers:

ETL Developer

ETL Developers are responsible for developing and maintaining ETL (extract, transform, load) processes. This course will teach you the fundamentals of ETL and ETL development. This course will help you build a solid foundation in ETL development and provide you with the skills and knowledge you need to succeed as an ETL Developer.

See salaries and explore the career path for ETL Developer

Data Warehouse Architect

Data Warehouse Architects are responsible for designing and building data warehouses. This course will teach you the fundamentals of ETL (extract, transform, load) and data warehouse architecture. ETL is a critical process for preparing data for data analysis and machine learning models. This course will help you build a solid foundation in ETL and data warehouse architecture. Additionally, this course will introduce you to data warehouse design tools and techniques that you can use to design and build data warehouses.

See salaries and explore the career path for Data Warehouse Architect

Data Architect

Data Architects are responsible for designing and managing data architectures. This course will teach you the fundamentals of ETL (extract, transform, load) and data architecture. ETL is a critical process for preparing data for data analysis and machine learning models. This course will help you build a solid foundation in ETL and data architecture. Additionally, this course will introduce you to data architecture tools and techniques that you can use to design and manage data architectures.

See salaries and explore the career path for Data Architect

Data Scientist

Data Scientists are responsible for collecting and analyzing large amounts of data to help businesses make better decisions. Skills such as data extraction, cleaning, statistical modeling, and visualization, which are all skills you will acquire in this course, will help businesses grow their revenue and streamline their operations. Additionally, this course will help you get started with a career in Data Science by providing you with a solid understanding of the fundamentals of data science.

See salaries and explore the career path for Data Scientist

Database Administrator

Database Administrators are responsible for managing and maintaining databases. This course will teach you the fundamentals of ETL (extract, transform, load) and database administration. ETL is a critical process for preparing data for data analysis and machine learning models. This course will help you to build a solid foundation in ETL and database administration. Additionally, this course will introduce you to database administration tools and techniques that you can use to manage and maintain databases.

See salaries and explore the career path for Database Administrator

Data Integration Specialist

Data Integration Specialists are responsible for integrating data from multiple sources into a single, unified view. This course will teach you the fundamentals of ETL (extract, transform, load) and data integration. This course will help you build a solid foundation in data integration and provide you with the skills and knowledge you need to succeed as a Data Integration Specialist.

See salaries and explore the career path for Data Integration Specialist

Chief Data Officer

Chief Data Officers are responsible for overseeing all aspects of data management within an organization. This course will teach you the fundamentals of ETL (extract, transform, load) and data management. This course will help you build a solid foundation in data management and provide you with the skills and knowledge you need to succeed as a Chief Data Officer.

See salaries and explore the career path for Chief Data Officer

Data Engineer

Data Engineers are responsible for designing, building, and maintaining data pipelines. This course will teach you the fundamentals of ETL (extract, transform, load) and data engineering. ETL is a critical process for preparing data for data analysis and machine learning models. This course will help you build a solid foundation in ETL and data engineering. Additionally, this course will introduce you to data engineering tools and techniques that you can use to build and deploy data pipelines.

See salaries and explore the career path for Data Engineer

Machine Learning Engineer

Machine Learning Engineers are responsible for designing, building, and maintaining machine learning models. This course will teach you the fundamentals of ETL (extract, transform, load) and machine learning. ETL is a critical process for preparing data for machine learning models and this course will help you build a solid foundation in ETL. Additionally, this course will introduce you to machine learning algorithms and techniques that you can use to build and deploy machine learning models.

See salaries and explore the career path for Machine Learning Engineer

Database Designer

Database Designers are responsible for designing and developing databases. This course will teach you the fundamentals of ETL (extract, transform, load) and database design. This course will help you build a solid foundation in database design and provide you with the skills and knowledge you need to succeed as a Database Designer.

See salaries and explore the career path for Database Designer

Data Analyst Manager

Data Analyst Managers are responsible for leading and managing teams of data analysts. This course will teach you the fundamentals of ETL (extract, transform, load) and data analyst management. This course will help you build a solid foundation in data analyst management and provide you with the skills and knowledge you need to succeed as a Data Analyst Manager.

See salaries and explore the career path for Data Analyst Manager

Data Analyst

Working as a Data Analyst, you will gather, clean, and analyze data to help your company make more informed decisions. As a Data Analyst, you will analyze trends in data that will help to identify business opportunities and problems. This course will serve as an essential tool for you to complete data analysis. This course will help you gain the skills necessary to succeed as a Data Analyst and establish a strong foundation for your career.

See salaries and explore the career path for Data Analyst

Business Intelligence Analyst

Business Intelligence Analysts are responsible for analyzing and interpreting data to help businesses make better decisions. This course will help you develop the skills necessary to gather, clean, and analyze data. You will also learn how to use data visualization tools to communicate your findings to stakeholders. This course will give you the skills and knowledge you need to succeed as a Business Intelligence Analyst.

See salaries and explore the career path for Business Intelligence Analyst

Data Governance Analyst

Data Governance Analysts are responsible for developing and implementing data governance policies and procedures. This course will teach you the fundamentals of ETL (extract, transform, load) and data governance. This course will help you build a solid foundation in data governance and provide you with the skills and knowledge you need to succeed as a Data Governance Analyst.

See salaries and explore the career path for Data Governance Analyst

Software Engineer

Software Engineers are responsible for designing, developing, and maintaining software applications. This course will teach you the fundamentals of ETL (extract, transform, load) and software engineering. ETL is a critical process for preparing data for data analysis and machine learning models. This course will help you build a solid foundation in ETL and software engineering. Additionally, this course will introduce you to software engineering tools and techniques that you can use to design, develop, and maintain software applications.

See salaries and explore the career path for Software Engineer

ETL مع Python

استخراج وتحويل وتحميل البيانات

What's inside

Syllabus

Good to know

Save this course

Activities

Career center

Reading list

Share

Similar courses