Collecter et afficher les logs avec Grafana Loki

 

Dans un environnement de production, un temps d'arrêt de même quelques microsecondes est intolérable. Le débogage de ces problèmes est critique. Une journalisation et une surveillance appropriées de l'infrastructure aident à déboguer de tels scénarios. Cela aide également à détecter tout problème imminent qui pourrait survenir dans un avenir proche.

Il existe différentes solutions de journalisation et de surveillance disponibles sur le marché. Dans cet article, nous allons parcourir les étapes pour déployer Grafana Loki sur Debian 10.  Grafana Loki se compose de trois composants Promtail, Loki et Grafana (PLG) que nous verrons brièvement avant de procéder au déploiement.

Promtail

Promtail est un agent qui expédie le contenu des journaux locaux vers une instance Loki privée ou Grafana Cloud. Il est généralement déployé sur chaque machine sur laquelle des applications doivent être surveillées.

Il agit principalement:

  • Découvre des cibles
  • Attache des étiquettes aux flux de journaux
  • Les pousse vers l'instance Loki.

Actuellement, Promtail peut suivre les journaux de deux sources: les fichiers journaux locaux et le journal systemd (sur les machines AMD64 uniquement). source

Loki

Tel que cité par les créateurs de Loki, Loki est un système d'agrégation de journaux scalable horizontalement, hautement disponible et inspiré de Prometheus. Loki utilise le même mécanisme de découverte de service que celui de Prometheus et ajoute des étiquettes au flux de journal au lieu de l'indexation. Pour cette raison, les journaux reçus de Promtail se composent du même ensemble d'étiquettes que celui des métriques d'application. Ainsi, il offre non seulement une meilleure commutation de contexte entre les journaux et les métriques, mais évite également la journalisation complète des index.

Grafana

Grafana est une plate-forme open-source spécialisé dans l'analyse et la surveillance. Il fonctionne spécifiquement sur des données chronologiques provenant de sources telles que Prometheus et Loki. De plus, il vous permet d'interroger, de visualiser, d'alerter sur les métriques quel que soit son emplacement stocké. Il aide à créer, explorer et partager des tableaux de bord et encourage la culture axée sur les données.

Nous utiliserons la source de données Loki avec le client Promtail comme collecteur sur le serveur Grafana lui-même. Ici on installe la version 1.5.0. Regardez les releases avant l'installation afin d'installer la dernière version.

Installation de Loki

Mise en place

mkdir /opt/loki && cd /opt/loki
wget https://github.com/grafana/loki/releases/download/v1.5.0/loki-linux-amd64.zip
unzip loki-linux-amd64.zip
wget https://raw.githubusercontent.com/grafana/loki/master/cmd/loki/loki-local-config.yaml
useradd -s /bin/bash -d /opt/loki/ loki
chown -R loki: /opt/loki/

Définir Loki en tant que service

Création du fichier : /etc/systemd/system/loki.service

[Unit]
Description=Loki Grafana
Wants=network-online.target
After=network-online.target

[Service]
Type=simple
User=loki
Group=loki
ExecStart=/opt/loki/loki-linux-amd64 -config.file=/opt/loki/loki-local-config.yaml

SyslogIdentifier=loki
Restart=always

[Install]
WantedBy=multi-user.target

Commandes système et visualisation des logs en direct :

systemctl enable loki.service 
systemctl start loki.service
systemctl status loki.service
journalctl -f -u loki.service

Le fichier de configuration de Loki dans notre cas se trouve : **/opt/loki/loki-local-config.yaml**

Installation Promtail

mkdir /opt/promtail && cd /opt/promtail
wget https://github.com/grafana/loki/releases/download/v1.5.0/promtail-linux-amd64.zip
unzip promtail-linux-amd64.zip
wget https://raw.githubusercontent.com/grafana/loki/master/cmd/promtail/promtail-local-config.yaml
useradd -s /bin/bash -d /opt/promtail/ promtail
chown -R promtail: /opt/promtail/
usermod -a -G adm promtail

Le groupe adm est utilisé pour les tâches de surveillance du système. Les membres de ce groupe peuvent lire de nombreux fichiers journaux dans /var/log et peuvent utiliser xconsole. Historiquement, /var/log était /usr/adm (et plus tard /var/adm), d'où le nom du groupe.

Définir Promtail en tant que service

[Unit]
Description=Promtail Loki
Wants=network-online.target
After=network-online.target

[Service]
Type=simple
User=promtail
Group=promtail
ExecStart=/opt/promtail/promtail-linux-amd64 -config.file /opt/promtail/promtail-local-config.yaml

SyslogIdentifier=promtail
Restart=always

[Install]
WantedBy=multi-user.target

Création du fichier : /etc/systemd/system/promtail.service

systemctl enable promtail.service 
systemctl start promtail.service
systemctl status promtail.service
journalctl -f -u promtail.service

Commandes système et visualisation des logs en direct :

Example de configuration promtail

Les configurations de Promtail sont différentes en fonction des besoins de chacun. Pour cela dans cet article on ne va montrer qu'un exemple de base. Dans cet exemple on va prendre les logs d'Apache2 et d'un site web.

Fichier /opt/promtail/promtail-local-config.yaml

server:
  http_listen_port: 9080
  grpc_listen_port: 0

positions:
  filename: /tmp/positions.yaml

clients:
  - url: http://mondomaine:3100/loki/api/v1/push

scrape_configs:
- job_name: apache
  static_configs:
  - targets:
      - localhost
    labels:
      host: aukfood
      job: apache2
      __path__: /var/log/apache2/*log

- job_name: monsite-errorlogs
  static_configs:
  - targets:
      - localhost
    labels:
      host: aukfood
      job: monsite-errorlogs
      __path__: /var/www/monsite/var/log/apache2/error*

Maintenant que Promtail est installé et démarré, vous devriez avoir Loki qui commence à stocker les flux et index des journaux reçus :

ls -la /tmp/loki/index/
ls -la /tmp/loki/chunks/

On peut voir les fichiers logs pris en compte par Promtail dans /tmp/positions.yaml

Création de dashboard dans Grafana

Sachant que notre Loki est installé sur le même serveur que notre Grafana, l'ajout d'une source via l'interface est très simple et rapide :

Pour visualiser les logs dans Grafana c'est très simple, il suffit de créer un nouveau dashboard de sélectionner la source Loki et de créer une requête. Pour la visualisation il faut être en mode logs. Exemple :

{host="aukfood",job="monsite-errorlogs"}

Pour réaliser des graphiques visuels il faut réaliser des requêtes plus poussées. Dans cet exemple on va prendre la somme des entrées dans les logs afin de réaliser un graphique :

sum(count_over_time(({host="aukfood"})[$__interval]))