Aller au contenu

[TUTO] Monitoring réseau (Telegraf + InfluxDB 1.8 + Grafana)


.Shad.

Messages recommandés

J'ai abandonné l'image atribe/speedtest-for-influxdb-and-grafana car elle ne me donnait pas de bonnes valeurs du tout, très loin de la réalité...


J'utilise ça actuellement henrywhitaker3/speedtest-tracker, mais ça n'envoie rien dans influxDB par contre, mais ça donne de bonnes valeurs et de graphiques :
UEQS1Qi.png

Je pourrais essayer l'image que tu donnes @.Shad., elle fonctionnera peut-être mieux 🙂 

Lien vers le commentaire
Partager sur d’autres sites

il y a 36 minutes, .Shad. a dit :

Pour information j'utilise cette image qui est compatible InfluxDB v2 et v1.8 à la fois : https://github.com/loganmarchione/docker-speedtest-influxdbv2

@.Shad. oui j'ai commencer à travailler avec cette image .... soit je ne l'ai pas configurée convenablement, soit elle me donne vraiment des résultats étranges .... du coup je tentais d'adapter l'image d'origine pour du influxv2.

Il faut que je reprenne cette tache.

Lien vers le commentaire
Partager sur d’autres sites

@oracle7 On en a déjà parlé je crois, perso je me fiche qu'ils aient mes données relatives à la qualité de ma connexion.
De toute façon mon opérateur le fait déjà chaque jour, donc ça ne change rien.

Après je réagissais par rapport à la compatibilité vis-à-vis de InfluxDB 2.0.

Lien vers le commentaire
Partager sur d’autres sites

@.Shad. @oracle7 @MilesTEG1 @Jeff777,

visiblement le problème speedtest apparu cette nuit est largement répandu.

Une solution a été trouvée ici : https://github.com/sivel/speedtest-cli/pull/769/files

Il faut donc inclure un nouveau script python "speedtest.py".

Je vous propose donc une mise à jour de l'image "speedtest2". Vous trouverez dans le fichier joint 2 nouveaux fichiers : Dockerfile et speedtest.py . speedtest_fix.tar

  • Placer ce fichier speedtest_fix.tar dans votre répertoire <speedtest>,
  • Décompressez le (# tar xvf speedtest_fix.tar)
  • puis relancer la procédure de création de l'image speedtest2 telle que décrite en page 22 de ce fil.

Le nouveau Dockerfile va inclure dans l'image le fichier speedtest.py corrigé, et ensuite il ne doit plus y avoir de problème. Je ne relivre pas le fichier Influxdbspeedtest.py car il n'évolue pas.

Testé rapidement chez moi ca semble OK, mais dites moi ce qu'il en est chez vous.

bruno78

Lien vers le commentaire
Partager sur d’autres sites

@.Shad.

Bonjour,

Il doit y avoir un autre problème avec la MIB SYNOLOGY-PORT-MIB.txt car le RT2600ac ne semble pas la connaître.

Pour preuve :

root@telegraf:/usr/share/snmp/mibs# snmpwalk -c public -v 2c 192.168.2.1 1.3.6.1.4.1.6574.109
iso.3.6.1.4.1.6574.109 = No Such Object available on this agent at this OID

Cordialement

oracle7😉

Lien vers le commentaire
Partager sur d’autres sites

@.Shad.

Bonjour,

Oui, elle est bien présente sur le routeur, je l'ai copiée/collée moi même.

il y a 2 minutes, .Shad. a dit :

Il y a peut-être une bonne raison pour laquelle ils l'ont enlevée, ce n'est pas ce que tu disais ?

Pas tout à fait. Je l'avais aussi C/C dans le répertoire MIBs sur le NAS et la MàJ 6.2.4.25556 de ce dernier, la supprimée.

Ni plus ni moins.

A la limite, cela peux se concevoir puisque cette MIB ne concerne que les routeurs. Mais comme les MIB semblent être communes à tous les appareils Synology. Enfin, c'est un simple constat : il y a mes mêmes fichiers MIB d'installés sur les Routeur comme sur les NAS. Par contre il y a plus de MIBs sur les NAS.

Cordialement

oracle7😉

Lien vers le commentaire
Partager sur d’autres sites

Le 08/04/2021 à 21:11, Jeff777 a dit :

 j'essaie demain.

Bon avec un peu de retard j'ai fini par y arriver. Merci @bruno78

Par contre je suis resté fidèle à au network "data_export" utilisé pour grafana/telegraf/influxdb. J'espère que cela ne crée pas des problèmes de sécurité.

Edit Je viens aussi de changer la période entre tests (2nd ligne de config.ini) 5mn au lieu de 3 heures. 

Modifié par Jeff777
Lien vers le commentaire
Partager sur d’autres sites

@.Shad. Hello

Alors je suis en train de préparer et tester tout çà, très beau tuto au passage 🙂 

Mes suggestions et questions 🙂

A l'étape 6, je sais pas si c'est volontaire, mais il n'est pas précisé :

- l'étape de création du répertoire telegraf dans volume1/docker, je pense que c'est nécessaire au vu du docker-compose unique ?
- à la lecture du docker-compose, les répertoires influxdb-data et grafana-data sont à créer dans Monitoring ?
- ou mettre le fichier docker-compose.yml ? dans le répertoire Monitoring ? la commande docker-compose up -d installera les 3 composants ?

Est-ce qu'il est possible selon toi d'utiliser l'ensemble des composants (telegraf, influxdb et grafana) en mode host et de s'affranchir de la création de réseau que tu cites au début ?

Si oui, la configuration serait la suivante ?

version: '2.1'
services:

   influxdb:
      image: influxdb:1.8
      container_name: influxdb
      network_mode: host
      environment:
         - INFLUXDB_DB=nas_telegraf
         - INFLUXDB_ADMIN_USER=admin
         - INFLUXDB_ADMIN_PASSWORD=admin
         - INFLUXDB_USER=nas_telegraf
         - INFLUXDB_USER_PASSWORD=nas_telegraf
         - INFLUXDB_HTTP_AUTH_ENABLED=true
      ports:                 # Optionnel
         - 8086:8086         # Optionnel
      volumes:
         - /volume1/docker/monitoring/influxdb-data:/var/lib/influxdb
      restart: unless-stopped

   grafana:
      image: grafana/grafana
      container_name: grafana
      network_mode: host
      volumes:
         - /volume1/docker/monitoring/grafana-data:/var/lib/grafana
      user: "1026"           # Optionnel
      ports:
         - 3000:3000
      depends_on:
         - telegraf
         - influxdb
      restart: unless-stopped

   telegraf:
      image: telegraf
      container_name: telegraf
      network_mode: host
      ports:                 # Optionnel
         - 8125:8125         # Optionnel
         - 8092:8092/udp     # Optionnel
         - 8094:8094         # Optionnel
      depends_on:
         - influxdb
      volumes:
         - /volume1/docker/telegraf/telegraf.conf:/etc/telegraf/telegraf.conf:ro
         - /usr/share/snmp/mibs:/usr/share/snmp/mibs:ro
      restart: unless-stopped
        
networks:
   monitoring:
      external: true

Merci d'avance pour les précisions.
 

Modifié par Elrick
Lien vers le commentaire
Partager sur d’autres sites

Il y a 4 heures, Elrick a dit :

- l'étape de création du répertoire telegraf dans volume1/docker, je pense que c'est nécessaire au vu du docker-compose unique ?
- à la lecture du docker-compose, les répertoires influxdb-data et grafana-data sont à créer dans Monitoring ?
- ou mettre le fichier docker-compose.yml ? dans le répertoire Monitoring ? la commande docker-compose up -d installera les 3 composants ?

Je me rends compte que c'est fouillis et il y a des erreurs de logique, je vais corriger ça.

Pour résumer ici, même avec un docker-compose unique, rien ne t'empêche d'avoir des répertoires séparés (docker/grafana, docker/influxdb et docker/telegraf) mais à partir du moment où les trois services fonctionnent ensemble, autant effectivement tous les mettre dans un même dossier docker/monitoring.

Et oui on peut mettre aussi un dossier pour docker/monitoring/telegraf-data.

Donc en somme, si fichier unique, tu fais :

- /volume1/docker/monitoring/grafana-data
- /volume1/docker/monitoring/influxdb-data
- /volume1/docker/monitoring/telegraf-data
et le fichier docker-compose tel que /volume1/docker/monitoring/docker-compose.yml

Si pas, tu peux dissocier chaque dossier avec son propre compose :

- /volume1/docker/grafana/data
avec /volume1/docker/grafana/docker-compose.yml
- /volume1/docker/influxdb/data
avec /volume1/docker/influxdb/docker-compose.yml
- /volume1/docker/telegraf/data
avec /volume1/docker/telegraf/docker-compose.yml

Il y a 4 heures, Elrick a dit :

Est-ce qu'il est possible selon toi d'utiliser l'ensemble des composants (telegraf, influxdb et grafana) en mode host et de s'affranchir de la création de réseau que tu cites au début ?

Tu y perds beaucoup à passer en host :

- Tu exposes inutilement des services qui n'ont pas besoin de l'être sur ton NAS
- Tu perds une grande partie de l'intérêt de l'isolation que procure Docker (Tu ne NAT que ce dont tu as besoin, voir les remarques après chaque docker-compose).
- La philosophie de Docker réside dans les bridge, passer en host n'est à faire que dans des cas bien spécifiques où le mode bridge n'est pas pratique, conseillé ou même possible.

Modifié par .Shad.
Lien vers le commentaire
Partager sur d’autres sites

@.Shad.

Merci 🙂

Je vais suivre tes conseils pour la partie réseau monitoring

Donc au final cela donnerai çà au niveau des répertoires avant de lancer la commande docker-compose up -d ?

image.thumb.png.21e4052459d6c882758786bab27b3e27.png

du coup, je laisse bien la fin de ligne comme çà dans le fichier docker-compose unique ?

image.png.d1a02e446bda4a417e9234329a830873.png

 

Lien vers le commentaire
Partager sur d’autres sites

il y a 19 minutes, Elrick a dit :

du coup, je laisse bien la fin de ligne comme çà dans le fichier docker-compose unique ?

Oui il faut laisser ça comme ça @Elrick
Ce coté correspond au chemin d'accès à l'intérieur du conteneur, donc c'est indépendant du chemin d'accès choisi sur ton NAS.
Tu pourrais avoir mis /volume1/docker/blabla/toto/machin/truc/telergah/blabla/encore/un/telegraph.conf que le chemin dans le conteneur resterait le même.
Si tu le changeais, le conteneur ne saurait pas retrouver le fichier de configuration car il est fabriqué ainsi 😉

 

Modifié par MilesTEG1
Lien vers le commentaire
Partager sur d’autres sites

Merci, j'avais la même compréhension, mais je préfère confirmer 😉 

La structure des répertoires cibles sous docker est bien la bonne pour exécuter le docker-compose unique avec les modification que suggère shad en haut sur cette page 35 ?

 

Lien vers le commentaire
Partager sur d’autres sites

il y a 5 minutes, Elrick a dit :

La structure des répertoires cibles sous docker est bien la bonne pour exécuter le docker-compose unique avec les modification que suggère shad en haut sur cette page 35 ?

Si tu places ton fichier .yml dans le dossier monitoring, et que dans ce fichier yml les chemins d'accès sont cohérents avec les dossiers dans monitoring, oui c'est bon.
Faudra se placer dans ce dossier monitoring pour lancer la commande docker-compose up -d .

Tu peux aussi utiliser Portainer si tu l'as installé ^^

Lien vers le commentaire
Partager sur d’autres sites

@.Shad.

Je viens de faire un docker-compose avec mon fichier unique, j'avais mal mis un chemin que j'ai corrigé... j'avais configuré le fichier telegraf.conf au préalable.

J'ai lancé un docker-compose logs et j'ai les messages suivants ... normal ?

image.thumb.png.b388f436d6d2255829852b81c20017b5.png

J'ai voulu configuré Grafana, mais je le message suivant quand j'ajoute influx db

image.thumb.png.13dd55b4167ac2cbcf3393eaa57a3c30.png

Modifié par Elrick
Lien vers le commentaire
Partager sur d’autres sites

il y a 45 minutes, Elrick a dit :

J'ai lancé un docker-compose logs et j'ai les messages suivants ... normal ?

Je ne sais pas si c'est ton impression d'écran qui est rognée, mais dans le message d'erreur, il est impossible de lire le chemin après "bind mount failed". Si tu peux publier ton docker-compose complet.

Dans ta deuxième impression d'écran ce n'est pas l'intitulé des variables d'environnement que tu dois mettre, mais directement leurs valeurs, ça correspond à ce que tu as entré dans les variables d'environnement d'InfluxDB :

- INFLUXDB_DB=nas_telegraf
- INFLUXDB_USER=nas_telegraf
- INFLUXDB_USER_PASSWORD=nas_telegraf
Lien vers le commentaire
Partager sur d’autres sites

@.Shad. @MilesTEG1

Salut,

Alors j'ai modifié les infos pour grafana, comme ceci et j'ai bien le message qui va bien quand je clique sur Save.

image.thumb.png.efe0ab4f5d54d4a09bb10b9368655087.png

j'ai importé le graph, je me retrouve avec le masque d'information sans données.

image.thumb.png.c0195703ecf5b26aaf63d1fe184de539.png

Pour revenir à ce que je voulais montrer précédemment, j'ai ceci quand je fais un docker-compose logs -f

Je sais pas si c'est normal...

image.png.f13eb4926b06a977652400e71ffda8f1.png

Modifié par Elrick
Lien vers le commentaire
Partager sur d’autres sites

Je t'avoue n'avoir jamais testé un docker-compose logs -f sur un fichier docker-compose multiple. 😉
Je te propose de me dire ce que tu obtiens en faisant :

docker logs influxdb -f

Tu devrais obtenir quelque chose d'équivalent à ce que je montre dans le tutoriel :

 

telegraf    | 2021-01-08T23:55:02Z D! [outputs.influxdb] Wrote batch of 469 metrics in 109.726214ms
telegraf    | 2021-01-08T23:55:02Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf    | 2021-01-08T23:55:12Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf    | 2021-01-08T23:55:22Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf    | 2021-01-08T23:55:32Z D! [outputs.influxdb] Wrote batch of 469 metrics in 144.489076ms
telegraf    | 2021-01-08T23:55:32Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf    | 2021-01-08T23:55:42Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf    | 2021-01-08T23:55:52Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf    | 2021-01-08T23:56:02Z D! [outputs.influxdb] Wrote batch of 469 metrics in 145.368898ms
telegraf    | 2021-01-08T23:56:02Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf    | 2021-01-08T23:56:12Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf    | 2021-01-08T23:56:22Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf    | 2021-01-08T23:56:32Z D! [outputs.influxdb] Wrote batch of 469 metrics in 119.228603ms
telegraf    | 2021-01-08T23:56:32Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf    | 2021-01-08T23:56:42Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
Lien vers le commentaire
Partager sur d’autres sites

@Dimebag Darrell

Bonjour,

A partir du moment où ton équipement Ubiquiti est accessible en SNMP et que tu disposes des MIBs correspondantes, alors OUI c'est possible. Je l'ai fais pour un autre type de matériel (caméras HIK).

Il existe quelque chose ici à toi de voir si cela te convient ?

Cordialement

oracle7😉

Lien vers le commentaire
Partager sur d’autres sites

Rejoindre la conversation

Vous pouvez publier maintenant et vous inscrire plus tard. Si vous avez un compte, connectez-vous maintenant pour publier avec votre compte.

Invité
Répondre à ce sujet…

×   Collé en tant que texte enrichi.   Coller en tant que texte brut à la place

  Seulement 75 émoticônes maximum sont autorisées.

×   Votre lien a été automatiquement intégré.   Afficher plutôt comme un lien

×   Votre contenu précédent a été rétabli.   Vider l’éditeur

×   Vous ne pouvez pas directement coller des images. Envoyez-les depuis votre ordinateur ou insérez-les depuis une URL.

×
×
  • Créer...

Information importante

Nous avons placé des cookies sur votre appareil pour aider à améliorer ce site. Vous pouvez choisir d’ajuster vos paramètres de cookie, sinon nous supposerons que vous êtes d’accord pour continuer.