Elastic de A à Z : Beats, Logstash, Elasticsearch, Kibana from Udemy

What's inside

Learning objectives

Comprendre et mettre en place la chaine d'interconnexion des composants elastic (agents beats, elasticsearch, logstash, kibana) et l'exploiter pour visualiser
Installer un agent beats(filebeat, winlogbeat, metricbeat, ...) sur un serveur pour ingérer les logs
Ingérer les données log d'un serveur ou d'un fichier, les indexer avec elasticsearch et les visualiser sur kibana
Utiliser elastic pour visualiser les données structurées (csv, json) et non structurées( logs en texte brut)
Utiliser elastic pour ingérer et visualiser les données d'une base de données relationnelle (exemple avec mysql)

Comprendre la notion de grok pattern et l'utiliser pour transformer les données non structurées en données structurées
Comprendre l'indexation des données avec elasticsearch
Créer des index patterns sur kibana, visualiser les filtrer les logs
Créer les visualisations avec kibana
Créer des dashboard avec kibana

Comprendre et mettre en place la chaine d'interconnexion des composants elastic (agents beats, elasticsearch, logstash, kibana) et l'exploiter pour visualiser
Installer un agent beats(filebeat, winlogbeat, metricbeat, ...) sur un serveur pour ingérer les logs
Ingérer les données log d'un serveur ou d'un fichier, les indexer avec elasticsearch et les visualiser sur kibana
Utiliser elastic pour visualiser les données structurées (csv, json) et non structurées( logs en texte brut)
Utiliser elastic pour ingérer et visualiser les données d'une base de données relationnelle (exemple avec mysql)
Comprendre la notion de grok pattern et l'utiliser pour transformer les données non structurées en données structurées
Comprendre l'indexation des données avec elasticsearch
Créer des index patterns sur kibana, visualiser les filtrer les logs
Créer les visualisations avec kibana
Créer des dashboard avec kibana

Syllabus

Introduction

Capsule de présentation et objectifs du cours

Introduction à Elastic Stack et plan du cours

Information importante

À la fin de cette section, vous serez en mesure d'installer tous les outils de la pile Elastic: les agents Beats, Logstash, Elasticsearch, Kibana. Vous comprendrez aussi comment ils sont configurés.

Les vidéos sont dédiées à l'installation sur Windows. Les utilisateurs de Linux peuvent utiliser ce tutoriel, mais doivent également suivre les vidéos d'installation sur Windows afin de faire le configurations équivalentes sur Linux

Dans cette session, vous installerez l'outil Elasticsearch. Pour les utilisateurs de Linux, vous pouvez juste vous referez à la documentation officiel d'Elastic. Une fois l'installation faites, cette session vous guidera sur les configuration à faire. Ce sera la même chose pour l'installation du reste d'outils.

Dans cette session, vous installerez l'outil Logstash. Pour les utilisateurs de Linux, vous pouvez juste vous referez à la documentation officiel d'Elastic. Une fois l'installation faites, cette session vous guidera sur les configuration à faire. Ce sera la même chose pour l'installation du reste d'outils.

Dans cette session, vous installerez l'outil Kibana. Pour les utilisateurs de Linux, vous pouvez juste vous referez à la documentation officiel d'Elastic. Une fois l'installation faites, cette session vous guidera sur les configuration à faire. Ce sera la même chose pour l'installation du reste d'outils.

Dans cette session, vous installerez l'outil d'un agent Beat: Filebeat.

Vous serez en mesure d'ingérer les logs d'un fichier sur un serveur avec l'agent Filebeat, les formater avec le GROK PATTERN dans le pipeline Logstash, créer un index pattern et visualiser sur Kibana

Dans cette session, nous allons télécharger un fichier log Apache qui va nous servir d'exemple dans cette section.

Dans cette session, nous allons configurer Filebeat pour le connecter au fichier log et à Logstash.

Configuration du pipeline Logstash pour le connecter à Filebeat et Elasticsearch

Comprendre la notion de filtre Grok et de Grok pattern

Exécution du pipeline Logstash et résultats

Créer un index pattern et visualiser les logs sur Kibana

Dans cette section, nous allons voir comment configurer le chemin d'accès au fichier log depuis le pipeline Logstash.

Ceci se fait lorsque le fichier log est logé sur le serveur sur lequel est installé Logstash.

Ou encore, lorsque les fichiers logs se trouvent dans un répertoire partagé. Il faut alors au préalable monter (mount) ce répertoire sur le serveur Logstash. C'est le cas des fichiers sur un HNAS par exemple.

Vous aller comprendre la notion de Ingest Nodes Pipeline, le créer et l'associer à un index pattern pour ajouter des traitements aux messages logs(structuration, ajout/suppression/modifications))

Notion de Ingest Pipeline: Définition et utilité

Notion de Ingest Pipeline: Création et utilisation d’un pipeline Elasticsearch

Notion de Ingest Pipeline: Associer le Pipeline créé à un index pattern

Créer graphiquement un Pipeline Elasticsearch et l'associer à un index pattern

Comprendre et utiliser d'autres types d'agents Beats(Winlogbeat, Metricbeat...) pour collecter des types de logs spécifiques(event logs, métriques systèmes); Collecter les logs IIS et JSON/CSV

Traitement de logs IIS (serveur Web des systèmes d'exploitation Windows)

Lecture de logs de fichiers JSON et CSV avec le pipeline Logstash

Collecte et traitement des logs Windows (event logs): Utilisation de Winlogbeat

Collecte des métriques d'un serveur (CPU, mémoire disque, etc.): Metricbeat

Collecte de données d'une base de données: Exemple d'une base de données Mysql

Créer des visualisations et Dashboards avec Kibana pour visualiser les données; Importer les données non structurées sur Kibana.

Création pas à pas de Dashboard

Importer les données structurées et statiques sur Kibana

Appliquer un pipeline sur les index qui existaient avant la création du pipeline; associer un pipeline Elasticsearch à un Index Template ; comprendre les notions de Life Policy, replicas et de Shard

Associer le pipeline à l'Index Template lors de sa création

La réindexation après création d'un pipeline elasticsearch

Notion de Life Policy d'un index

Notion de Replicas

Notion de Shard

Notion de Snapshot: définition, création, exécution et restauration

Cette section comporte un ebook qui accompagne les exemples pratiques de ce cours, une présentation qui contient les liens utiles

Ce document est mon ebook offert gratuitement avec ce cours qui est lui-même un guide pratique pas-à-pas pour configurer et utiliser la chaine Elastic stack. Vous pouvez vous y référer pendant le cours et utiliser les configurations qui y sont.

Dans ce document, vous aurez le plan de la présentation, quelques architectures et les liens de téléchargement des ressources discutées dans le cours.

Good to know

Know what's good

, what to watch for

, and possible dealbreakers

Fournit une approche pratique et pas à pas pour apprendre Elastic Stack à partir de zéro, ce qui est idéal pour les débutants

Couvre l'ingestion et la visualisation des logs de diverses sources, ce qui est essentiel pour la surveillance et le dépannage des systèmes

Permet d'utiliser Elastic pour visualiser des données structurées et non structurées, ce qui est utile pour l'analyse des données et la détection des menaces

Les vidéos sont dédiées à l'installation sur Windows, mais les utilisateurs de Linux peuvent également suivre le tutoriel en utilisant la documentation officielle d'Elastic

Explore la notion de GROK PATTERN, qui est essentielle pour transformer les données non structurées en données structurées pour une analyse plus facile

Montre comment ingérer et visualiser les données d'une base de données relationnelle (exemple avec MySQL), ce qui est utile pour l'intégration des données

Activities

Be better prepared before your course. Deepen your understanding during and after it. Supplement your coursework and achieve mastery of the topics covered in Elastic de A à Z : Beats, Logstash, Elasticsearch, Kibana with these activities:

Revoir les bases de Linux

Show steps

Renforcer les connaissances de base de Linux pour faciliter l'installation et la configuration des outils Elastic Stack, souvent plus simple sous Linux.

Browse courses on Linux

Show steps

Consulter des tutoriels en ligne sur les commandes Linux de base.
S'exercer à utiliser le shell Linux.
Installer une distribution Linux dans une machine virtuelle.

Lire 'Learning Kibana 7'

Show steps

Se familiariser avec Kibana grâce à un guide pratique et accessible.

View Putting Knowledge to Work on Amazon

Show steps

Suivre les exemples de création de visualisations et de tableaux de bord.
Expérimenter avec les différentes options de configuration de Kibana.

Lire 'Elasticsearch: The Definitive Guide'

Show steps

Approfondir la compréhension d'Elasticsearch avec un guide complet et détaillé.

View Putting Knowledge to Work on Amazon

Show steps

Lire les chapitres pertinents sur l'indexation et la recherche.
Expérimenter avec les exemples de code fournis dans le livre.

Four other activities

Expand to see all activities and additional details

Show all seven activities

S'exercer avec les Grok patterns

Show steps

Maîtriser les Grok patterns pour transformer les données non structurées en données structurées, une compétence essentielle pour Logstash.

Show steps

Utiliser des outils en ligne pour tester et valider les Grok patterns.
Créer des Grok patterns pour différents formats de logs courants.
Modifier les Grok patterns existants pour répondre à des besoins spécifiques.

Créer un tableau de bord Kibana personnalisé

Show steps

Consolider les compétences en visualisation de données en créant un tableau de bord Kibana qui répond à un besoin spécifique.

Show steps

Choisir un jeu de données pertinent (logs serveur, métriques système, etc.).
Définir les visualisations clés à inclure dans le tableau de bord.
Concevoir et implémenter le tableau de bord dans Kibana.
Personnaliser le tableau de bord pour une présentation claire et efficace.

Mettre en place une chaîne Elastic Stack complète

Show steps

Appliquer toutes les connaissances acquises en mettant en place une chaîne Elastic Stack complète pour un cas d'utilisation réel.

Show steps

Choisir un cas d'utilisation (surveillance de serveur, analyse de logs d'application, etc.).
Installer et configurer les composants Elastic Stack (Beats, Logstash, Elasticsearch, Kibana).
Configurer l'ingestion, le traitement et la visualisation des données.
Documenter l'architecture et la configuration de la chaîne Elastic Stack.

Contribuer à un projet open source Elastic Stack

Show steps

Approfondir la compréhension d'Elastic Stack en contribuant à un projet open source lié à cette technologie.

Show steps

Identifier un projet open source pertinent (Beats, Logstash, Elasticsearch, Kibana, plugins, etc.).
Étudier le code source et la documentation du projet.
Identifier un bug ou une fonctionnalité à améliorer.
Soumettre une pull request avec la correction ou l'amélioration.

Career center

Learners who complete Elastic de A à Z : Beats, Logstash, Elasticsearch, Kibana will develop knowledge and skills that may be useful to these careers:

Spécialiste Elasticsearch

Un spécialiste Elasticsearch est un expert dans la configuration, l'optimisation et la gestion des clusters Elasticsearch. Ce cours enseigne l'installation et la configuration d'Elasticsearch et de son écosystème, une compétence essentielle pour ce poste. Les spécialistes d'Elasticsearch travaillent avec des données de tous types et doivent comprendre son indexation, sa structure et les outils d'analyse. Le cours aborde la collecte de données structurées (CSV, JSON) et non structurées (logs en texte brut), un besoin courant pour un spécialiste Elasticsearch, en plus de la capacité à créer les visualisations sur Kibana. L'apprentissage de l'utilisation des Ingest Pipeline et des index templates est également utile.

See salaries and explore the career path for Spécialiste Elasticsearch

Analyste de Logs

Un analyste de logs examine les logs pour comprendre les performances des systèmes et identifier les problèmes. Ce cours est très pertinent car il couvre les outils spécifiques (Beats, Logstash, Elasticsearch et Kibana) utilisés pour la collecte, l'indexation et l'analyse des logs. L’analyste de logs peut utiliser les compétences acquises dans ce cours pour visualiser les logs et créer des tableaux de bord. La capacité d’ingérer des logs de sources diverses telles que les serveurs, les fichiers, les bases de données relationnelles et les logs d’événements et de les structurer à l’aide de motifs GROK est particulièrement précieuse. Les analystes de logs profitent également de la capacité de ce cours à configurer l'ensemble de la pile Elastic de bout en bout.

See salaries and explore the career path for Analyste de Logs

Ingénieur Données

Un ingénieur données conçoit, construit et maintient l'infrastructure de données. Ce rôle implique souvent le travail avec des outils comme Elasticsearch et Kibana, qui sont au cœur de ce cours. Ce cours enseigne comment installer, configurer et intégrer les différents composants de la pile Elastic, tels que Beats, Logstash, Elasticsearch et Kibana. Un ingénieur données peut utiliser cette connaissance pour mettre en place des solutions de collecte, de traitement et de visualisation de données pour une variété de sources. La capacité d'utiliser des motifs GROK pour structurer des données non structurées, comme les logs, est également essentielle pour ce rôle, et est enseignée en détail.

See salaries and explore the career path for Ingénieur Données

Ingénieur DevOps

Un ingénieur DevOps s'occupe de l'automatisation et de la gestion des infrastructures et du déploiement d'applications. La surveillance et l'analyse des logs sont essentielles pour le DevOps, et ce cours fournit les outils nécessaires pour le faire efficacement. Les ingénieurs DevOps peuvent utiliser cette connaissance pour intégrer la pile Elastic dans leur processus de travail, de la collecte de données avec Beats à la visualisation avec Kibana, et peuvent également apprendre à identifier les problèmes grâce à l'analyse des logs. Apprendre les Ingest Pipeline et la gestion des index est également particulièrement utile pour un ingénieur DevOps.

See salaries and explore the career path for Ingénieur DevOps

Intégrateur de données

Un intégrateur de données est responsable de la collecte et de la fusion des données de différentes sources. Ce cours s'aligne bien sur ce rôle car il traite de la collecte de données à partir de sources hétérogènes (Beats, fichiers, bases de données, etc.), l'ETL avec Logstash et la visualisation avec Kibana. L'intégrateur de données peut mettre en application ces connaissances pour construire des pipelines de données efficaces. La capacité d'ingérer et de structurer des données non structurées à l'aide de motifs GROK, ainsi que de travailler avec des données structurées telles que JSON et CSV, est particulièrement utile pour ce poste. Le cours fournit également des connaissances sur l'utilisation d'Ingest Pipeline pour le traitement des données.

See salaries and explore the career path for Intégrateur de données

Administrateur de systèmes

Un administrateur de systèmes est responsable du bon fonctionnement des systèmes informatiques. Ce cours peut aider un administrateur de systèmes en lui fournissant les outils et les techniques nécessaires pour surveiller et analyser les logs des serveurs, un aspect crucial de leur travail. De la collecte des métriques systèmes avec Metricbeat à la visualisation des performances avec Kibana, ce cours couvre le cycle de vie du traitement des logs. L'administrateur de systèmes peut mettre en œuvre ce qui est appris dans ce cours pour configurer la pile Elastic, en particulier pour surveiller et dépanner les systèmes qu'il gère.

See salaries and explore the career path for Administrateur de systèmes

Consultant Elastic

Un consultant Elastic aide les organisations à mettre en œuvre et à optimiser leur infrastructure basée sur la pile Elastic. Ce cours peut aider à construire cette compétence parce qu'il couvre la mise en œuvre complète de la pile, de l'installation à l'utilisation de tableaux de bord. Un consultant peut utiliser cette formation pour aider ses clients à mettre en place une solution personnalisée basée sur leurs besoins. La compréhension des composants individuels et de l’interdépendance entre eux, ainsi que la capacité de structurer des données non structurées avec les motifs GROK, sont des éléments importants pour un consultant Elastic.

See salaries and explore the career path for Consultant Elastic

Responsable de l'infrastructure

Un responsable de l'infrastructure supervise l'infrastructure informatique d'une entreprise. Ce cours peut s'avérer utile car il fournit aux responsables des connaissances précieuses sur le système de collecte de logs de la pile Elastic. Le responsable peut utiliser cette formation pour mieux comprendre les données collectées et les visualisations. Il peut également utiliser la connaissance du système de la formation pour planifier la capacité et pour prendre des décisions relatives à l'infrastructure. La capacité du cours à configurer et à déployer les composants de la pile Elastic, en allant de la collecte des données à la visualisation sont des connaissances très intéressantes.

See salaries and explore the career path for Responsable de l'infrastructure

Architecte de données

Un architecte de données conçoit l'architecture des systèmes de gestion de données. Ce cours est pertinent pour un architecte de données car il offre une compréhension pratique de la mise en œuvre d'un système de collecte, de traitement et de visualisation des données avec la pile Elastic. L'architecte de données peut utiliser cette connaissance pour concevoir des systèmes qui tirent parti des fonctionnalités d'Elasticsearch, de Logstash et de Kibana. La compréhension des Ingest Pipelines et des indexations avec Elasticsearch est particulièrement utile, ainsi que la capacité d'adapter le système pour divers formats de données, comme les JSON, CSV et les logs en texte brut.

See salaries and explore the career path for Architecte de données

Analyste de la Sécurité

Un analyste de la sécurité surveille les systèmes pour détecter les menaces. Les logs sont une source clé d'information, et ce cours peut aider un analyste de sécurité dans son travail. Ce cours couvre l'ingestion, le traitement et la visualisation des logs en utilisant Elasticsearch, Logstash et Kibana, ce qui renforce les capacités d'un analyste de sécurité dans l'analyse des données. La capacité de structurer et d'analyser les logs provenant de différentes sources, notamment les logs d'événements Windows (via Winlogbeat), est particulièrement utile pour cet analyste qui cherche à améliorer ses compétences en matière de surveillance et de détection des menaces. La configuration et le déploiement de l'ensemble de la pile sont également des acquis pertinents.

See salaries and explore the career path for Analyste de la Sécurité

Analyste de Performance Applicative

Un analyste de performance applicative surveille les performances des applications et identifie les goulots d'étranglement. Les logs sont une source d'information essentielle lors de l'analyse de la performance, et ce cours montre comment utiliser la pile Elastic pour la collecte, l'analyse et la visualisation des logs. L'analyste de la performance peut utiliser ce cours pour mettre en place une infrastructure robuste de surveillance des logs. La capacité d'utiliser des outils comme Beat pour collecter des données et des mesures, et d'utiliser Kibana pour afficher des tableaux de bord est particulièrement intéressante pour ce rôle, ainsi que l'application de pipelines pour le traitement de données.

See salaries and explore the career path for Analyste de Performance Applicative

Développeur d'applications

Un développeur d'applications crée et maintient des applications. Ce cours peut être bénéfique pour un développeur qui souhaite comprendre comment intégrer la surveillance et l'analyse des logs dans ses applications. Les développeurs peuvent utiliser ce cours pour mettre en place une infrastructure de logs en utilisant la pile Elastic, qui leur permet de suivre les performances de leurs applications et d'identifier les problèmes potentiels. L'apprentissage de la collecte de logs, de la structuration des données avec GROK Pattern et de la visualisation sur Kibana est particulièrement utile pour ce rôle, ainsi que la capacité d'ingérer des données depuis des fichiers JSON et CSV.

See salaries and explore the career path for Développeur d'applications

Administrateur de bases de données

Un administrateur de bases de données gère les bases de données. Ce cours peut être utile car il fournit des compétences dans le traitement et la visualisation des données provenant de bases de données relationnelles à l'aide d'Elasticsearch, Logstash et Kibana. L'administrateur de bases de données peut utiliser ces outils pour indexer et analyser les données d'une base de données, et les visualiser à l'aide de tableaux de bord. Bien qu'Elastic Stack ne soit pas une base de données en soi, la capacité à ingérer, traiter et analyser les données provenant de bases de données relationnelles et autres sources peut être une compétence supplémentaire utile pour un administrateur de bases de données, et fait partie du syllabus de ce cours.

See salaries and explore the career path for Administrateur de bases de données

Analyste de Renseignements

Un analyste de renseignements tire des conclusions à partir de l'analyse des données. Ce cours peut être utile pour cet analyste, car il apprend comment collecter, indexer et visualiser différents types de données, y compris les logs. L'analyste de renseignements peut utiliser les outils enseignés dans ce cours, tels qu'Elasticsearch et Kibana, pour trouver des corrélations et obtenir des informations précieuses à partir de grands ensembles de données. Il peut également appliquer les connaissances acquises sur l'utilisation d'Ingest Pipeline pour la structuration des données et l'optimisation de la recherche. Bien que l'analyse des logs ne soit qu'un aspect de l'analyse des renseignements, ce cours fournit des compétences de base en gestion des données.

See salaries and explore the career path for Analyste de Renseignements

Technicien Support IT

Un technicien support IT assure l'assistance technique aux utilisateurs. Ce cours peut être utile à un technicien support pour comprendre le fonctionnement des systèmes informatiques et dépanner les problèmes. La collecte et l'analyse des logs sont essentielles dans ce rôle, et la formation sur l'utilisation de la pile Elastic pour la collecte, l'analyse et la visualisation des logs peut être précieuse. Un technicien support peut utiliser ce cours pour améliorer sa capacité à diagnostiquer et résoudre les problèmes des utilisateurs, surtout lors de l'analyse des logs à des fins de dépannage ou d'identification des problèmes. La configuration de base de la pile Elastic est également intéressante.

See salaries and explore the career path for Technicien Support IT

Reading list

We've selected one books that we think will supplement your learning. Use these to develop background knowledge, enrich your coursework, and gain a deeper understanding of the topics covered in Elastic de A à Z : Beats, Logstash, Elasticsearch, Kibana.

Putting Knowledge to Work

Save

Ce livre est une référence complète sur Elasticsearch. Il couvre en détail les concepts fondamentaux, l'architecture, et les meilleures pratiques. Il est particulièrement utile pour approfondir la compréhension du moteur de recherche et d'analyse utilisé dans Elastic Stack. Ce livre est considéré comme un ouvrage de référence pour les professionnels d'Elasticsearch.

Putting Knowledge to Work

Paperback

Check price

Putting Knowledge to Work

Kindle Edition

Check price

Elastic de A à Z

Beats, Logstash, Elasticsearch, Kibana

What's inside

Learning objectives

Syllabus

Good to know

Save this course

Activities

Career center

Reading list

Share

Similar courses