Elastic de A à Z : Beats, Logstash, Elasticsearch, Kibana from Udemy

What's inside

Learning objectives

Comprendre et mettre en place la chaine d'interconnexion des composants elastic (agents beats, elasticsearch, logstash, kibana) et l'exploiter pour visualiser
Installer un agent beats(filebeat, winlogbeat, metricbeat, ...) sur un serveur pour ingérer les logs
Ingérer les données log d'un serveur ou d'un fichier, les indexer avec elasticsearch et les visualiser sur kibana
Utiliser elastic pour visualiser les données structurées (csv, json) et non structurées( logs en texte brut)
Utiliser elastic pour ingérer et visualiser les données d'une base de données relationnelle (exemple avec mysql)

Comprendre la notion de grok pattern et l'utiliser pour transformer les données non structurées en données structurées
Comprendre l'indexation des données avec elasticsearch
Créer des index patterns sur kibana, visualiser les filtrer les logs
Créer les visualisations avec kibana
Créer des dashboard avec kibana

Comprendre et mettre en place la chaine d'interconnexion des composants elastic (agents beats, elasticsearch, logstash, kibana) et l'exploiter pour visualiser
Installer un agent beats(filebeat, winlogbeat, metricbeat, ...) sur un serveur pour ingérer les logs
Ingérer les données log d'un serveur ou d'un fichier, les indexer avec elasticsearch et les visualiser sur kibana
Utiliser elastic pour visualiser les données structurées (csv, json) et non structurées( logs en texte brut)
Utiliser elastic pour ingérer et visualiser les données d'une base de données relationnelle (exemple avec mysql)
Comprendre la notion de grok pattern et l'utiliser pour transformer les données non structurées en données structurées
Comprendre l'indexation des données avec elasticsearch
Créer des index patterns sur kibana, visualiser les filtrer les logs
Créer les visualisations avec kibana
Créer des dashboard avec kibana

Syllabus

Introduction

Capsule de présentation et objectifs du cours

Introduction à Elastic Stack et plan du cours

Information importante

Les vidéos sont dédiées à l'installation sur Windows. Les utilisateurs de Linux peuvent utiliser ce tutoriel, mais doivent également suivre les vidéos d'installation sur Windows afin de faire le configurations équivalentes sur Linux

Dans cette session, vous installerez l'outil Elasticsearch. Pour les utilisateurs de Linux, vous pouvez juste vous referez à la documentation officiel d'Elastic. Une fois l'installation faites, cette session vous guidera sur les configuration à faire. Ce sera la même chose pour l'installation du reste d'outils.

Dans cette session, vous installerez l'outil Logstash. Pour les utilisateurs de Linux, vous pouvez juste vous referez à la documentation officiel d'Elastic. Une fois l'installation faites, cette session vous guidera sur les configuration à faire. Ce sera la même chose pour l'installation du reste d'outils.

Dans cette session, vous installerez l'outil Kibana. Pour les utilisateurs de Linux, vous pouvez juste vous referez à la documentation officiel d'Elastic. Une fois l'installation faites, cette session vous guidera sur les configuration à faire. Ce sera la même chose pour l'installation du reste d'outils.

Dans cette session, vous installerez l'outil d'un agent Beat: Filebeat.

Dans cette session, nous allons télécharger un fichier log Apache qui va nous servir d'exemple dans cette section.

Dans cette session, nous allons configurer Filebeat pour le connecter au fichier log et à Logstash.

Dans cette section, nous allons voir comment configurer le chemin d'accès au fichier log depuis le pipeline Logstash.

Ceci se fait lorsque le fichier log est logé sur le serveur sur lequel est installé Logstash.

Ou encore, lorsque les fichiers logs se trouvent dans un répertoire partagé. Il faut alors au préalable monter (mount) ce répertoire sur le serveur Logstash. C'est le cas des fichiers sur un HNAS par exemple.

Ce document est mon ebook offert gratuitement avec ce cours qui est lui-même un guide pratique pas-à-pas pour configurer et utiliser la chaine Elastic stack. Vous pouvez vous y référer pendant le cours et utiliser les configurations qui y sont.

Dans ce document, vous aurez le plan de la présentation, quelques architectures et les liens de téléchargement des ressources discutées dans le cours.

Traffic lights

Read about what's good

what should give you pause

and possible dealbreakers

Teaches how to ingest, transform, and visualize data from various sources using the Elastic Stack, which is highly relevant for data analysis and monitoring

Explores Beats, Logstash, Elasticsearch, and Kibana, which are popular tools for log management, security analytics, and application performance monitoring

Provides a step-by-step approach to learning the Elastic Stack from scratch, which builds a strong foundation for those new to the technology

Focuses on installation on Windows, but provides guidance for Linux users to adapt the configurations, which may require additional effort

Develops skills in creating visualizations and dashboards with Kibana, which are essential for presenting data insights effectively

Demonstrates how to ingest and visualize data from relational databases like MySQL, which expands the use cases of the Elastic Stack

Reviews summary

Formation pratique complète elastic stack

Selon les apprenants, ce cours est une excellente porte d'entrée pour maîtriser la pile Elastic, couvrant en profondeur Beats, Logstash, Elasticsearch et Kibana. L'approche est très pratique avec de nombreuses démonstrations et exemples, rendant les concepts faciles à appréhender pour les débutants. Il est particulièrement apprécié pour sa capacité à rendre les étudiants rapidement opérationnels. Bien que l'installation soit détaillée, notamment pour Windows, les utilisateurs d'autres systèmes pourraient rencontrer quelques ajustements à faire. C'est un solide point de départ, bien que certains sujets avancés puissent nécessiter des recherches complémentaires après le cours.

Couvre bien l'essentiel, ouvre la voie à plus.

"Ce cours est excellent pour acquérir les bases nécessaires à l'utilisation d'Elastic Stack."

"Certains sujets plus avancés ou d'optimisation pourraient être approfondis, mais c'est un bon début."

"J'ai maintenant une bonne compréhension pour commencer à travailler sur des projets, même si je devrai chercher des compléments pour des cas spécifiques."

Idéal pour les débutants sur Elastic Stack.

"Très bon cours pour les débutants comme moi, les explications sont claires et vont droit au but."

"Ça m'a donné une base solide pour continuer à explorer Elastic Stack par la suite."

"Le rythme est adapté et permet de bien assimiler les notions même sans expérience préalable."

Beaucoup d'exemples et de démos utiles.

"Les exercices pratiques et les démonstrations sont très utiles pour comprendre comment ça marche réellement."

"J'ai pu mettre en place ma propre chaîne ELK rapidement grâce aux exemples concrets."

"Le côté pratique du cours m'a permis de manipuler directement les outils et concepts vus."

Explore les composants clés : Beats, LS, ES, Kibana.

"Le cours aborde tous les composants essentiels de la pile Elastic : Beats, Logstash, Elasticsearch, Kibana."

"Une excellente vue d'ensemble de la pile Elastic du début à la fin du flux de données."

"J'ai appris à interconnecter et utiliser les différents outils de la pile de manière cohérente."

Instructions principalement pour Windows.

"L'installation est bien expliquée, surtout pour les utilisateurs de Windows."

"Attention, les étapes pour Linux sont moins détaillées et nécessitent de se référer à la doc officielle."

"J'ai eu quelques difficultés à réaliser l'installation sur Linux en suivant uniquement le cours."

Activities

Be better prepared before your course. Deepen your understanding during and after it. Supplement your coursework and achieve mastery of the topics covered in Elastic de A à Z : Beats, Logstash, Elasticsearch, Kibana with these activities:

Revoir les bases de Linux

Show steps

Renforcer les connaissances de base de Linux pour faciliter l'installation et la configuration des outils Elastic Stack, souvent plus simple sous Linux.

Browse courses on Linux

Show steps

Consulter des tutoriels en ligne sur les commandes Linux de base.
S'exercer à utiliser le shell Linux.
Installer une distribution Linux dans une machine virtuelle.

Lire 'Learning Kibana 7'

Show steps

Se familiariser avec Kibana grâce à un guide pratique et accessible.

View Putting Knowledge to Work on Amazon

Show steps

Suivre les exemples de création de visualisations et de tableaux de bord.
Expérimenter avec les différentes options de configuration de Kibana.

Lire 'Elasticsearch: The Definitive Guide'

Show steps

Approfondir la compréhension d'Elasticsearch avec un guide complet et détaillé.

View Putting Knowledge to Work on Amazon

Show steps

Lire les chapitres pertinents sur l'indexation et la recherche.
Expérimenter avec les exemples de code fournis dans le livre.

Four other activities

Expand to see all activities and additional details

Show all seven activities

S'exercer avec les Grok patterns

Show steps

Maîtriser les Grok patterns pour transformer les données non structurées en données structurées, une compétence essentielle pour Logstash.

Show steps

Utiliser des outils en ligne pour tester et valider les Grok patterns.
Créer des Grok patterns pour différents formats de logs courants.
Modifier les Grok patterns existants pour répondre à des besoins spécifiques.

Créer un tableau de bord Kibana personnalisé

Show steps

Consolider les compétences en visualisation de données en créant un tableau de bord Kibana qui répond à un besoin spécifique.

Show steps

Choisir un jeu de données pertinent (logs serveur, métriques système, etc.).
Définir les visualisations clés à inclure dans le tableau de bord.
Concevoir et implémenter le tableau de bord dans Kibana.
Personnaliser le tableau de bord pour une présentation claire et efficace.

Mettre en place une chaîne Elastic Stack complète

Show steps

Appliquer toutes les connaissances acquises en mettant en place une chaîne Elastic Stack complète pour un cas d'utilisation réel.

Show steps

Choisir un cas d'utilisation (surveillance de serveur, analyse de logs d'application, etc.).
Installer et configurer les composants Elastic Stack (Beats, Logstash, Elasticsearch, Kibana).
Configurer l'ingestion, le traitement et la visualisation des données.
Documenter l'architecture et la configuration de la chaîne Elastic Stack.

Contribuer à un projet open source Elastic Stack

Show steps

Approfondir la compréhension d'Elastic Stack en contribuant à un projet open source lié à cette technologie.

Show steps

Identifier un projet open source pertinent (Beats, Logstash, Elasticsearch, Kibana, plugins, etc.).
Étudier le code source et la documentation du projet.
Identifier un bug ou une fonctionnalité à améliorer.
Soumettre une pull request avec la correction ou l'amélioration.

Career center

Learners who complete Elastic de A à Z : Beats, Logstash, Elasticsearch, Kibana will develop knowledge and skills that may be useful to these careers:

Spécialiste Elasticsearch

Un spécialiste Elasticsearch est un expert dans la configuration, l'optimisation et la gestion des clusters Elasticsearch. Ce cours enseigne l'installation et la configuration d'Elasticsearch et de son écosystème, une compétence essentielle pour ce poste. Les spécialistes d'Elasticsearch travaillent avec des données de tous types et doivent comprendre son indexation, sa structure et les outils d'analyse. Le cours aborde la collecte de données structurées (CSV, JSON) et non structurées (logs en texte brut), un besoin courant pour un spécialiste Elasticsearch, en plus de la capacité à créer les visualisations sur Kibana. L'apprentissage de l'utilisation des Ingest Pipeline et des index templates est également utile.

See salaries and explore the career path for Spécialiste Elasticsearch

Analyste de Logs

Un analyste de logs examine les logs pour comprendre les performances des systèmes et identifier les problèmes. Ce cours est très pertinent car il couvre les outils spécifiques (Beats, Logstash, Elasticsearch et Kibana) utilisés pour la collecte, l'indexation et l'analyse des logs. L’analyste de logs peut utiliser les compétences acquises dans ce cours pour visualiser les logs et créer des tableaux de bord. La capacité d’ingérer des logs de sources diverses telles que les serveurs, les fichiers, les bases de données relationnelles et les logs d’événements et de les structurer à l’aide de motifs GROK est particulièrement précieuse. Les analystes de logs profitent également de la capacité de ce cours à configurer l'ensemble de la pile Elastic de bout en bout.

See salaries and explore the career path for Analyste de Logs

Ingénieur Données

Un ingénieur données conçoit, construit et maintient l'infrastructure de données. Ce rôle implique souvent le travail avec des outils comme Elasticsearch et Kibana, qui sont au cœur de ce cours. Ce cours enseigne comment installer, configurer et intégrer les différents composants de la pile Elastic, tels que Beats, Logstash, Elasticsearch et Kibana. Un ingénieur données peut utiliser cette connaissance pour mettre en place des solutions de collecte, de traitement et de visualisation de données pour une variété de sources. La capacité d'utiliser des motifs GROK pour structurer des données non structurées, comme les logs, est également essentielle pour ce rôle, et est enseignée en détail.

See salaries and explore the career path for Ingénieur Données

Ingénieur DevOps

Un ingénieur DevOps s'occupe de l'automatisation et de la gestion des infrastructures et du déploiement d'applications. La surveillance et l'analyse des logs sont essentielles pour le DevOps, et ce cours fournit les outils nécessaires pour le faire efficacement. Les ingénieurs DevOps peuvent utiliser cette connaissance pour intégrer la pile Elastic dans leur processus de travail, de la collecte de données avec Beats à la visualisation avec Kibana, et peuvent également apprendre à identifier les problèmes grâce à l'analyse des logs. Apprendre les Ingest Pipeline et la gestion des index est également particulièrement utile pour un ingénieur DevOps.

See salaries and explore the career path for Ingénieur DevOps

Intégrateur de données

Un intégrateur de données est responsable de la collecte et de la fusion des données de différentes sources. Ce cours s'aligne bien sur ce rôle car il traite de la collecte de données à partir de sources hétérogènes (Beats, fichiers, bases de données, etc.), l'ETL avec Logstash et la visualisation avec Kibana. L'intégrateur de données peut mettre en application ces connaissances pour construire des pipelines de données efficaces. La capacité d'ingérer et de structurer des données non structurées à l'aide de motifs GROK, ainsi que de travailler avec des données structurées telles que JSON et CSV, est particulièrement utile pour ce poste. Le cours fournit également des connaissances sur l'utilisation d'Ingest Pipeline pour le traitement des données.

See salaries and explore the career path for Intégrateur de données

Administrateur de systèmes

Un administrateur de systèmes est responsable du bon fonctionnement des systèmes informatiques. Ce cours peut aider un administrateur de systèmes en lui fournissant les outils et les techniques nécessaires pour surveiller et analyser les logs des serveurs, un aspect crucial de leur travail. De la collecte des métriques systèmes avec Metricbeat à la visualisation des performances avec Kibana, ce cours couvre le cycle de vie du traitement des logs. L'administrateur de systèmes peut mettre en œuvre ce qui est appris dans ce cours pour configurer la pile Elastic, en particulier pour surveiller et dépanner les systèmes qu'il gère.

See salaries and explore the career path for Administrateur de systèmes

Consultant Elastic

Un consultant Elastic aide les organisations à mettre en œuvre et à optimiser leur infrastructure basée sur la pile Elastic. Ce cours peut aider à construire cette compétence parce qu'il couvre la mise en œuvre complète de la pile, de l'installation à l'utilisation de tableaux de bord. Un consultant peut utiliser cette formation pour aider ses clients à mettre en place une solution personnalisée basée sur leurs besoins. La compréhension des composants individuels et de l’interdépendance entre eux, ainsi que la capacité de structurer des données non structurées avec les motifs GROK, sont des éléments importants pour un consultant Elastic.

See salaries and explore the career path for Consultant Elastic

Responsable de l'infrastructure

Un responsable de l'infrastructure supervise l'infrastructure informatique d'une entreprise. Ce cours peut s'avérer utile car il fournit aux responsables des connaissances précieuses sur le système de collecte de logs de la pile Elastic. Le responsable peut utiliser cette formation pour mieux comprendre les données collectées et les visualisations. Il peut également utiliser la connaissance du système de la formation pour planifier la capacité et pour prendre des décisions relatives à l'infrastructure. La capacité du cours à configurer et à déployer les composants de la pile Elastic, en allant de la collecte des données à la visualisation sont des connaissances très intéressantes.

See salaries and explore the career path for Responsable de l'infrastructure

Architecte de données

Un architecte de données conçoit l'architecture des systèmes de gestion de données. Ce cours est pertinent pour un architecte de données car il offre une compréhension pratique de la mise en œuvre d'un système de collecte, de traitement et de visualisation des données avec la pile Elastic. L'architecte de données peut utiliser cette connaissance pour concevoir des systèmes qui tirent parti des fonctionnalités d'Elasticsearch, de Logstash et de Kibana. La compréhension des Ingest Pipelines et des indexations avec Elasticsearch est particulièrement utile, ainsi que la capacité d'adapter le système pour divers formats de données, comme les JSON, CSV et les logs en texte brut.

See salaries and explore the career path for Architecte de données

Analyste de la Sécurité

Un analyste de la sécurité surveille les systèmes pour détecter les menaces. Les logs sont une source clé d'information, et ce cours peut aider un analyste de sécurité dans son travail. Ce cours couvre l'ingestion, le traitement et la visualisation des logs en utilisant Elasticsearch, Logstash et Kibana, ce qui renforce les capacités d'un analyste de sécurité dans l'analyse des données. La capacité de structurer et d'analyser les logs provenant de différentes sources, notamment les logs d'événements Windows (via Winlogbeat), est particulièrement utile pour cet analyste qui cherche à améliorer ses compétences en matière de surveillance et de détection des menaces. La configuration et le déploiement de l'ensemble de la pile sont également des acquis pertinents.

See salaries and explore the career path for Analyste de la Sécurité

Analyste de Performance Applicative

Un analyste de performance applicative surveille les performances des applications et identifie les goulots d'étranglement. Les logs sont une source d'information essentielle lors de l'analyse de la performance, et ce cours montre comment utiliser la pile Elastic pour la collecte, l'analyse et la visualisation des logs. L'analyste de la performance peut utiliser ce cours pour mettre en place une infrastructure robuste de surveillance des logs. La capacité d'utiliser des outils comme Beat pour collecter des données et des mesures, et d'utiliser Kibana pour afficher des tableaux de bord est particulièrement intéressante pour ce rôle, ainsi que l'application de pipelines pour le traitement de données.

See salaries and explore the career path for Analyste de Performance Applicative

Développeur d'applications

Un développeur d'applications crée et maintient des applications. Ce cours peut être bénéfique pour un développeur qui souhaite comprendre comment intégrer la surveillance et l'analyse des logs dans ses applications. Les développeurs peuvent utiliser ce cours pour mettre en place une infrastructure de logs en utilisant la pile Elastic, qui leur permet de suivre les performances de leurs applications et d'identifier les problèmes potentiels. L'apprentissage de la collecte de logs, de la structuration des données avec GROK Pattern et de la visualisation sur Kibana est particulièrement utile pour ce rôle, ainsi que la capacité d'ingérer des données depuis des fichiers JSON et CSV.

See salaries and explore the career path for Développeur d'applications

Administrateur de bases de données

Un administrateur de bases de données gère les bases de données. Ce cours peut être utile car il fournit des compétences dans le traitement et la visualisation des données provenant de bases de données relationnelles à l'aide d'Elasticsearch, Logstash et Kibana. L'administrateur de bases de données peut utiliser ces outils pour indexer et analyser les données d'une base de données, et les visualiser à l'aide de tableaux de bord. Bien qu'Elastic Stack ne soit pas une base de données en soi, la capacité à ingérer, traiter et analyser les données provenant de bases de données relationnelles et autres sources peut être une compétence supplémentaire utile pour un administrateur de bases de données, et fait partie du syllabus de ce cours.

See salaries and explore the career path for Administrateur de bases de données

Analyste de Renseignements

Un analyste de renseignements tire des conclusions à partir de l'analyse des données. Ce cours peut être utile pour cet analyste, car il apprend comment collecter, indexer et visualiser différents types de données, y compris les logs. L'analyste de renseignements peut utiliser les outils enseignés dans ce cours, tels qu'Elasticsearch et Kibana, pour trouver des corrélations et obtenir des informations précieuses à partir de grands ensembles de données. Il peut également appliquer les connaissances acquises sur l'utilisation d'Ingest Pipeline pour la structuration des données et l'optimisation de la recherche. Bien que l'analyse des logs ne soit qu'un aspect de l'analyse des renseignements, ce cours fournit des compétences de base en gestion des données.

See salaries and explore the career path for Analyste de Renseignements

Technicien Support IT

Un technicien support IT assure l'assistance technique aux utilisateurs. Ce cours peut être utile à un technicien support pour comprendre le fonctionnement des systèmes informatiques et dépanner les problèmes. La collecte et l'analyse des logs sont essentielles dans ce rôle, et la formation sur l'utilisation de la pile Elastic pour la collecte, l'analyse et la visualisation des logs peut être précieuse. Un technicien support peut utiliser ce cours pour améliorer sa capacité à diagnostiquer et résoudre les problèmes des utilisateurs, surtout lors de l'analyse des logs à des fins de dépannage ou d'identification des problèmes. La configuration de base de la pile Elastic est également intéressante.

See salaries and explore the career path for Technicien Support IT

Elastic de A à Z

Beats, Logstash, Elasticsearch, Kibana

What's inside

Learning objectives

Syllabus

Traffic lights

Save this course

Reviews summary

Formation pratique complète elastic stack

Activities

Career center

Reading list

Share

Similar courses