ETL مع Python : استخراج وتحويل وتحميل البيانات from Coursera

1. اهميه عمليه ETL وكيفيه إعداد بيئة عمل ETL وكيفيه اعداد مشروع ETL بالتفصيل

2. تنفيذ ETL لاستخراج البيانات من المصدر (ملف CSV) وإعادة صياغة البيانات المحملة باستخدام Pandas

3. تحميل البيانات في الوجهة النهائيه لها (قاعدة بيانات MySQL)

لنفترض ان لدينا شركة توظيف الكتروني عندها مئات من الوظائف التي تتم اضافتها علي موقعهم الالكتروني بشكل يومي. فريق تحليل البيانات بالشركة يواجهون مشكله كبيره وهي اضطرارهم الي العمل لمدة ١٦ ساعة بمعدل يومين عمل في كل مره يحتاجون فيها لاستخراج تقرير عن عدد الوظايف المتاحة علي الموقع لكل مسمى وظيفي ومتوسط المرتبات لكل مسمى وظيفي علي حدي. بعد مراجعه مهام الفريق تبين ان اكثر وقت مبذول يكون في استخراج (E) البيانات من ملف CSV يحتوي علي الوظائف المدرجه بالموقع الالكتروني ثم معالجه هذه البيانات وتحويلها (T) واخيرا تحميلها (L) مجددا بقاعده بيانات MySQL لتكون جاهزه للعمل عليها واستخراج التقرير المطلوب. بعد مراجعه المختصين تبين ان هذه الخطوات تشكل عمليه ال ETL او ما يعرف باستخراج وتحويل وتحميل البيانات والتي يمكن تنفيذها بلغه برمجه مثل بايثون لتتم بعد ذللك بشكل تلقائي في دقائق معدوده وتوفر الجهد والوقت المبذول من فريق تحليل البيانات في هذه الشركه ليكون تركيزهم الاكبر علي تحليل البيانات واصدار التقارير. مهمتنا في هذا المشروع هو تنفيذ ETL يقوم بهذه المهمه في دقائق معدودة.

خلال هذا المشروع ، ستكتسب المهارات الأساسية المتعلقة بعمليات ETL مثل استخراج البيانات من ملفات CSV باستخدام مكتبة Pandas ، وتحويل البيانات باستخدام مكتبه Pandas في دفتر Jupyter وتحميل البيانات المحولة إلى قاعدة بيانات MySQL. هذا المشروع فريد من نوعه لأنه يوفر تطبيقًا عمليًا للمفاهيم الأساسية التي يمكن تطبيقها في مختلف الصناعات مثل التمويل أو الرعاية الصحية أو التسويق.

لتجتاز المشروع ، يجب أن يكون لديك فهم أساسي لبناء جملة Python مثل تعيين المتغيرات والدوال ودوال lambda واستيراد المكتبات واستدعاء الدوال ومعالجة النصوص والتعامل مع الاخطاء البرمجيه وهياكل البيانات مثل المجموعات والقوائم والقواميس . يجب أن يكون لديك فهم أساسي لقواعد البيانات و MySQL بما في ذلك إنشاء قواعد البيانات والجداول والمستخدمين. يُفضل أن يكون لديك معرفة بدوال Pandas مثل [pd.read_csv, drop_duplicates, reset_index, apply, drop, head, info, isnull, duplicated, reset_index, unique, replace, to_csv]. كما يفصل ان يكون لديك معرفه بكيفيه تنفيذ السطور البرمجيه في Jupyter Notebook.

من خلال إكمال هذا المشروع، ستكتسب خبرة قيمة في العمل باستخدام أدوات مثل Python و MySQL و Jupyter والتي يمكن أن تساعدك على العمل بكفاءة أكبر خلال حياتك المهنية. على سبيل المثال ، إذا كنت تعمل في مؤسسة تحتاج إلى معالجة كميات كبيرة من بيانات المعاملات المالية الأولية بشكل منتظم ، فيمكنك استخدام هذه المهارات لأتمتة العملية، مما يوفر الوقت والمال والجهد مع زيادة الدقة.

What's inside

Syllabus

ملخص المشروع

تم تصميم هذا المشروع "استخراج وتحويل واعاده تحميل البيانات باستخدام لغه البرمجه بايثون" للأفراد المهتمين بتعلم أساسيات عمليات ETL (الاستخراج والتحويل والتحميل) باستخدام Python. في هذا المشروع الذي يستغرق ساعة واحدة- سوف تتعلم: 1. اهميه عمليه ETL وكيفيه إعداد بيئة عمل ETL وكيفيه اعداد مشروع ETL بالتفصيل 2. تنفيذ ETL لاستخراج البيانات من المصدر (ملف CSV) وإعادة صياغة البيانات المحملة باستخدام Pandas 3. تحميل البيانات في الوجهة النهائيه لها (قاعدة بيانات MySQL) لنفترض ان لدينا شركة توظيف الكتروني عندها مئات من الوظائف التي تتم اضافتها علي موقعهم الالكتروني بشكل يومي. فريق تحليل البيانات بالشركة يواجهون مشكله كبيره وهي اضطرارهم الي العمل لمدة ١٦ ساعة بمعدل يومين عمل في كل مره يحتاجون فيها لاستخراج تقرير عن عدد الوظايف المتاحة علي الموقع لكل مسمى وظيفي ومتوسط المرتبات لكل مسمى وظيفي علي حدي. بعد مراجعه مهام الفريق تبين ان اكثر وقت مبذول يكون في استخراج (E) البيانات من ملف CSV يحتوي علي الوظائف المدرجه بالموقع الالكتروني ثم معالجه هذه البيانات وتحويلها (T) واخيرا تحميلها (L) مجددا بقاعده بيانات MySQL لتكون جاهزه للعمل عليها واستخراج التقرير المطلوب. بعد مراجعه المختصين تبين ان هذه الخطوات تشكل عمليه ال ETL او ما يعرف باستخراج وتحويل وتحميل البيانات والتي يمكن تنفيذها بلغه برمجه مثل بايثون لتتم بعد ذللك بشكل تلقائي في دقائق معدوده وتوفر الجهد والوقت المبذول من فريق تحليل البيانات في هذه الشركه ليكون تركيزهم الاكبر علي تحليل البيانات واصدار التقارير. مهمتنا في هذا المشروع هو تنفيذ ETL يقوم بهذه المهمه في دقائق معدودة. خلال هذا المشروع ، ستكتسب المهارات الأساسية المتعلقة بعمليات ETL مثل استخراج البيانات من ملفات CSV باستخدام مكتبة Pandas ، وتحويل البيانات باستخدام مكتبه Pandas في دفتر Jupyter وتحميل البيانات المحولة إلى قاعدة بيانات MySQL. هذا المشروع فريد من نوعه لأنه يوفر تطبيقًا عمليًا للمفاهيم الأساسية التي يمكن تطبيقها في مختلف الصناعات مثل التمويل أو الرعاية الصحية أو التسويق. لتجتاز المشروع ، يجب أن يكون لديك فهم أساسي لبناء جملة Python مثل تعيين المتغيرات والدوال ودوال lambda واستيراد المكتبات واستدعاء الدوال ومعالجة النصوص والتعامل مع الاخطاء البرمجيه وهياكل البيانات مثل المجموعات والقوائم والقواميس . يجب أن يكون لديك فهم أساسي لقواعد البيانات و MySQL بما في ذلك إنشاء قواعد البيانات والجداول والمستخدمين. يُفضل أن يكون لديك معرفة بدوال Pandas مثل [pd.read_csv, drop_duplicates, reset_index, apply, drop, head, info, isnull, duplicated, reset_index, unique, replace, to_csv]. كما يفصل ان يكون لديك معرفه بكيفيه تنفيذ السطور البرمجيه في Jupyter Notebook. من خلال إكمال هذا المشروع، ستكتسب خبرة قيمة في العمل باستخدام أدوات مثل Python و MySQL و Jupyter والتي يمكن أن تساعدك على العمل بكفاءة أكبر خلال حياتك المهنية. على سبيل المثال ، إذا كنت تعمل في مؤسسة تحتاج إلى معالجة كميات كبيرة من بيانات المعاملات المالية الأولية بشكل منتظم ، فيمكنك استخدام هذه المهارات لأتمتة العملية، مما يوفر الوقت والمال والجهد مع زيادة الدقة.

Good to know

Know what's good

, what to watch for

, and possible dealbreakers

يهدف هذا المشروع إلى تعليم المهتمين بعمليات ETL (استخراج وتحويل وتحميل) باستخدام لغة بايثون حيث سيكتسبون مهارات أساسية في هذا المجال

يضع المشروع سيناريو لشركة توظيف إلكتروني تواجه مشاكل في معالجة البيانات بسبب الحجم الكبير للوظائف لديها، ويوضح كيف يمكن لمهارات ETL أن تحل هذه المشاكل

يساعد المشروع في إعداد بيئة عمل ETL وإعداد مشاريع ETL بشكل تفصيلي

ينفذ المشروع استخراج البيانات من ملفات CSV وتحويلها باستخدام مكتبة Pandas

يعلم المشروع كيفية تحميل البيانات في قواعد بيانات MySQL

يفيد المشروع الأفراد الذين يعملون في مؤسسات تحتاج إلى معالجة كميات كبيرة من البيانات الأولية بانتظام حيث يسمح لهم بأتمتة العملية مما يوفر الوقت والمال والجهد

Career center

Learners who complete ETL مع Python : استخراج وتحويل وتحميل البيانات will develop knowledge and skills that may be useful to these careers:

ETL Developer

ETL Developers are responsible for developing and maintaining ETL (extract, transform, load) processes. This course will teach you the fundamentals of ETL and ETL development. This course will help you build a solid foundation in ETL development and provide you with the skills and knowledge you need to succeed as an ETL Developer.

See salaries and explore the career path for ETL Developer

Data Warehouse Architect

Data Warehouse Architects are responsible for designing and building data warehouses. This course will teach you the fundamentals of ETL (extract, transform, load) and data warehouse architecture. ETL is a critical process for preparing data for data analysis and machine learning models. This course will help you build a solid foundation in ETL and data warehouse architecture. Additionally, this course will introduce you to data warehouse design tools and techniques that you can use to design and build data warehouses.

See salaries and explore the career path for Data Warehouse Architect

Data Architect

Data Architects are responsible for designing and managing data architectures. This course will teach you the fundamentals of ETL (extract, transform, load) and data architecture. ETL is a critical process for preparing data for data analysis and machine learning models. This course will help you build a solid foundation in ETL and data architecture. Additionally, this course will introduce you to data architecture tools and techniques that you can use to design and manage data architectures.

See salaries and explore the career path for Data Architect

Data Scientist

Data Scientists are responsible for collecting and analyzing large amounts of data to help businesses make better decisions. Skills such as data extraction, cleaning, statistical modeling, and visualization, which are all skills you will acquire in this course, will help businesses grow their revenue and streamline their operations. Additionally, this course will help you get started with a career in Data Science by providing you with a solid understanding of the fundamentals of data science.

See salaries and explore the career path for Data Scientist

Database Administrator

Database Administrators are responsible for managing and maintaining databases. This course will teach you the fundamentals of ETL (extract, transform, load) and database administration. ETL is a critical process for preparing data for data analysis and machine learning models. This course will help you to build a solid foundation in ETL and database administration. Additionally, this course will introduce you to database administration tools and techniques that you can use to manage and maintain databases.

See salaries and explore the career path for Database Administrator

Data Integration Specialist

Data Integration Specialists are responsible for integrating data from multiple sources into a single, unified view. This course will teach you the fundamentals of ETL (extract, transform, load) and data integration. This course will help you build a solid foundation in data integration and provide you with the skills and knowledge you need to succeed as a Data Integration Specialist.

See salaries and explore the career path for Data Integration Specialist

Chief Data Officer

Chief Data Officers are responsible for overseeing all aspects of data management within an organization. This course will teach you the fundamentals of ETL (extract, transform, load) and data management. This course will help you build a solid foundation in data management and provide you with the skills and knowledge you need to succeed as a Chief Data Officer.

See salaries and explore the career path for Chief Data Officer

Data Engineer

Data Engineers are responsible for designing, building, and maintaining data pipelines. This course will teach you the fundamentals of ETL (extract, transform, load) and data engineering. ETL is a critical process for preparing data for data analysis and machine learning models. This course will help you build a solid foundation in ETL and data engineering. Additionally, this course will introduce you to data engineering tools and techniques that you can use to build and deploy data pipelines.

See salaries and explore the career path for Data Engineer

Machine Learning Engineer

Machine Learning Engineers are responsible for designing, building, and maintaining machine learning models. This course will teach you the fundamentals of ETL (extract, transform, load) and machine learning. ETL is a critical process for preparing data for machine learning models and this course will help you build a solid foundation in ETL. Additionally, this course will introduce you to machine learning algorithms and techniques that you can use to build and deploy machine learning models.

See salaries and explore the career path for Machine Learning Engineer

Database Designer

Database Designers are responsible for designing and developing databases. This course will teach you the fundamentals of ETL (extract, transform, load) and database design. This course will help you build a solid foundation in database design and provide you with the skills and knowledge you need to succeed as a Database Designer.

See salaries and explore the career path for Database Designer

Data Analyst Manager

Data Analyst Managers are responsible for leading and managing teams of data analysts. This course will teach you the fundamentals of ETL (extract, transform, load) and data analyst management. This course will help you build a solid foundation in data analyst management and provide you with the skills and knowledge you need to succeed as a Data Analyst Manager.

See salaries and explore the career path for Data Analyst Manager

Data Analyst

Working as a Data Analyst, you will gather, clean, and analyze data to help your company make more informed decisions. As a Data Analyst, you will analyze trends in data that will help to identify business opportunities and problems. This course will serve as an essential tool for you to complete data analysis. This course will help you gain the skills necessary to succeed as a Data Analyst and establish a strong foundation for your career.

See salaries and explore the career path for Data Analyst

Business Intelligence Analyst

Business Intelligence Analysts are responsible for analyzing and interpreting data to help businesses make better decisions. This course will help you develop the skills necessary to gather, clean, and analyze data. You will also learn how to use data visualization tools to communicate your findings to stakeholders. This course will give you the skills and knowledge you need to succeed as a Business Intelligence Analyst.

See salaries and explore the career path for Business Intelligence Analyst

Data Governance Analyst

Data Governance Analysts are responsible for developing and implementing data governance policies and procedures. This course will teach you the fundamentals of ETL (extract, transform, load) and data governance. This course will help you build a solid foundation in data governance and provide you with the skills and knowledge you need to succeed as a Data Governance Analyst.

See salaries and explore the career path for Data Governance Analyst

Software Engineer

Software Engineers are responsible for designing, developing, and maintaining software applications. This course will teach you the fundamentals of ETL (extract, transform, load) and software engineering. ETL is a critical process for preparing data for data analysis and machine learning models. This course will help you build a solid foundation in ETL and software engineering. Additionally, this course will introduce you to software engineering tools and techniques that you can use to design, develop, and maintain software applications.

See salaries and explore the career path for Software Engineer

ETL مع Python

استخراج وتحويل وتحميل البيانات

What's inside

Syllabus

Good to know

Save this course

Activities

Career center

Reading list

Share

Similar courses