[TUTO] Monitoring réseau (Telegraf + InfluxDB 1.8 + Grafana)

[MilesTEG1]

@oracle7 Haaa 😄 Ce panel me convient mieux en effet 😉

Par contre, je n'explique pas pourquoi j'ai cette email qui apparait là :

Elle n'est pourtant pas dans le code JSON du pannel...

Par contre, ça prend toujours trop de place en hauteur 😥😭

[oracle7]

@MilesTEG1

Bonjour,

Pourquoi introduis-tu une clause WHERE dans ta requête ? Surtout sur le champ "maintener" ???

Voici la requête que j'ai bâti :

Pour la hauteur, en mode table tu sera toujours dépendant du nombre d'enregistrements affichés sauf à en masquer volontairement une partie et alors avoir un ascenseur à droite.

Cordialement

oracle7😉

[MilesTEG1]

@oracle7 Je voulais voir ce qu'il y avait comme autres champs possibles.
Mais du coup, d'où elle vient cette adresse email ?

Pour la hauteur, je sais que c'est dépendant de la quantité de ligne, ce n'est pas de ça que je voulais parler. C'est la hauteur de chaque ligne qui est importante, et je ne peux pas la réduire...

[oracle7]

@MilesTEG1

Bonjour,

il y a une heure, MilesTEG1 a dit :

C'est la hauteur de chaque ligne qui est importante, et je ne peux pas la réduire...

Si tu observe bien tous les panel basés sur le visuel "Table" ont tous la même hauteur de ligne. Perso, je n'ai pas vu de paramètres permettant de la modifier. Il te faut faire avec ...

Pour l'@mail, elle fait partie des données associées au champ "maintener" et elle doit être en "dur" dans les infos docker. Je ne vois que cette explication.

Cordialement

oracle7😉

[.Shad.]

Pour info il y a des ajouts dans la dernière version des MIB Synology pour SRM.

[oracle7]

@.Shad.

Bonjour,

Merci pour l'info.

Au titre des modifications on peut dire aussi que :

• Le document guide PDF a été aussi pas mal complété.
• Les quatres MIB : SYNOLOGY-SPACEIO-MIB.txt, SYNOLOGY-STORAGEIO-MIB.txt, SYNOLOGY-SYSTEM-MIB.txt et SYNOLOGY-UPS-MIB.txt ont été aussi modifiées.
• La MIB : SYNOLOGY-PORT-MIB.txt est nouvelle et concerne les ports Ethernet de SRM /

 

Par ailleurs j'ai essayé de les intégrer dans le fichier telegraf.conf pour les exploiter mais ils ne sont pas reconnus : erreur dans telegraf :

# docker logs -f telegraf
2021-04-05T13:03:44Z I! Starting Telegraf 1.17.3
2021-04-05T13:03:44Z I! Using config file: /etc/telegraf/telegraf.conf
2021-04-05T13:03:44Z I! Loaded inputs: cpu disk diskio docker kernel mem processes snmp (2x) swap system
2021-04-05T13:03:44Z I! Loaded aggregators:
2021-04-05T13:03:44Z I! Loaded processors: converter strings
2021-04-05T13:03:44Z I! Loaded outputs: influxdb
2021-04-05T13:03:44Z I! Tags enabled: host=telegraf
2021-04-05T13:03:44Z I! [agent] Config: Interval:30s, Quiet:false, Hostname:"telegraf", Flush Interval:10s
2021-04-05T13:04:01Z E! [inputs.snmp] Error in plugin: initializing field ethPortStatus: translating: SYNOLOGY-PORT-MIB::ethPortStatus.0: Unknown Object Identifier (Index out of range: 0 (ethPortIndex)): exit status 2

(pourtant la MIB correspondante a bien été préalablement recopiée dans "/usr/share/snmp/mibs/").

  #----------------------------------------------------------
  # Ethernet Ports SRM
  [[inputs.snmp.field]]
    name = "ethPortStatus"
    oid = ".1.3.6.1.4.1.6574.109.2"
#    oid = "SYNOLOGY-PORT-MIB::ethPortStatus.0"
  [[inputs.snmp.field]]
    name = "ethPortSpeed"
    oid = ".1.3.6.1.4.1.6574.109.3"
#    oid = "SYNOLOGY-PORT-MIB::ethPortSpeed.0"
  #----------------------------------------------------------

Aucun de deux types d'oid n'est reconnu 🥴

J'ai du raté quelque chose mais je ne vois pas quoi, une idée peut-être ?

Cordialement

oracle7😉

 

Modifié le 5 juillet 2021 par oracle7

[oracle7]

Bonjour,

Juste pour dire deux choses constatées :

1. Dans le fichier "telegraf.conf" la version avec oid "numérique" ne génère pas (plus) de messages d'erreurs dans le log de telegraf, contrairement à la version "littérale" pour les champs de la MIB SYNOLOGY-PORT-MIB.txt.
    
2. La récente mise à jour 6.2.4 25556 a supprimé la MIB SYNOLOGY-PORT-MIB.txt que j'avais ajoutée à la main.

Votre avis SVP

Cordialement

oracle7😉

Modifié le 6 avril 2021 par oracle7

[.Shad.]

Si tu fais :

[[inputs.snmp.table]]
  oid = "SYNOLOGY-PORT-MIB::ethPortTable"

  [[inputs.snmp.table.field]]
  oid = "SYNOLOGY-PORT-MIB::ethPortIndex"
  is_tag = true

ça ne marche pas mieux ?

[oracle7]

@.Shad.

Bonjour,

Merci de ta réponse.

J'ai donc modifier le fichier telegraf.conf tel que ton conseil :

  # Ethernet Ports SRM
  [[inputs.snmp.table]]
    oid = "SYNOLOGY-PORT-MIB::ethPortTable"
    [[inputs.snmp.table.field]]
      is_tag = true
    oid = "SYNOLOGY-PORT-MIB::ethPortIndex"

OK : aucune erreur dans le log de telegraf.

Mais, AUCUN champ (ethPortStatus ou ethPortSpeed) n'apparaît dans la liste des champs de la table ethPortTable, pas plus que la table ethPortTable n'apparaît sous grafana.

C'est confirmé avec un examen  de test du fichier telegraf.conf avec la commande :

telegraf --test --config /etc/telegraf/telegraf.conf

Aucunes données ne remontent.

Là je sèche ...

Cordialement

oracle7😉

Modifié le 7 avril 2021 par oracle7

[.Shad.]

Je te propose d'essayer deux versions différentes :

[[inputs.snmp.table]]
  index_as_tag = true
  oid = "SYNOLOGY-PORT-MIB::ethPortTable"

ou :

[[inputs.snmp.table]]
  oid = "SYNOLOGY-PORT-MIB::ethPortTable"

  [[inputs.snmp.table.field]]
  oid = "SYNOLOGY-PORT-MIB::ethPortStatus"
  is_tag = true

 

[MilesTEG1]

@.Shad. @oracle7
Ces modifications que vous essayez sur les MIBs, elles modifient quoi exactement ? (j'ai pas vraiment tout suivi des derniers échanges...)

Car là j'ai pas l'impression que Grafana ne m'indique plus les bonnes infos sur le routeur ou sur le NAS... 

[oracle7]

@MilesTEG1

Bonjour,

J'essaie juste d'exploiter la nouvelle MIB (SYNOLOGY-PORT-MIB.txt) concernant les ports eth du routeur RT afin d'afficher dans grafana l'état de chaque port ainsi que sa vitesse.

Mais manifestement, la déinition dans le telegraf.conf pose problème.

Cordialement

oracle7😉

[.Shad.]

@oracle7

Tu as testé ce que j'ai proposé au-dessus ? On est bien d'accord que tu as quand même un exemplaire du fichier MIB dans le dossier qu'il faut ? 😛 Tu disais qu'il n'y était plus.

[MilesTEG1]

@oracle7 Ha ok 😄 Je te laisse bosser dessus et arriver à une version finale fonctionnelle pour la poster ici 😇😛

[oracle7]

@.Shad.

Bonjour,

La MIB SYNOLOGY-PORT-MIB.txt est dans :

• Sur le routeur : /usr/syno/share/snmp/mibs/SYNOLOGY-PORT-MIB.txt
• Sur le NAS qui supporte le monitoring : /usr/share/snmp/mibs/SYNOLOGY-PORT-MIB.txt
• Dans le répertoire : /volume1/docker/mibs/SYNOLOGY-PORT-MIB.txt qui est monté dans le répertoire /usr/share/snmp/mibs du conteneur telegraf (fichier docker-compose.yml du monitoring).

NON aucune des deux versions proposées ne fonctionne : pas de table ethPortTable créée donc visible sous grafana.

Cordialement

oracle7😉

[.Shad.]

Pas d'idée comme ça alors.

[oracle7]

@bruno78

Bonjour,

Cette nuit mon conteneur speedtest2 s'est arrêté. Depuis il démarre puis s'arrête sans fin.

Après l'avoir supprimer et relancé même problème. Voici le log :

# docker logs -f speedtest2
Loading Configuration File config.ini
Configuration Successfully Loaded
2021-04-08 07:10:28,979 - DEBUG: Testing connection to InfluxDb using provided credentials
2021-04-08 07:10:28,990 - DEBUG: Successful connection to InfluxDb
2021-04-08 07:10:28,990 - INFO: Starting Speed Test For Server None
2021-04-08 07:10:29,009 - DEBUG: Setting up SpeedTest.net client
Traceback (most recent call last):
  File "/src/influxspeedtest.py", line 8, in <module>
    collector.run()
  File "/src/influxspeedtest/InfluxdbSpeedtest.py", line 179, in run
    self.run_speed_test()
  File "/src/influxspeedtest/InfluxdbSpeedtest.py", line 127, in run_speed_test
    self.setup_speedtest(server)
  File "/src/influxspeedtest/InfluxdbSpeedtest.py", line 77, in setup_speedtest
    self.speedtest = speedtest.Speedtest()
  File "/usr/local/lib/python3.7/site-packages/speedtest.py", line 1091, in __init__
    self.get_config()
  File "/usr/local/lib/python3.7/site-packages/speedtest.py", line 1174, in get_config
    map(int, server_config['ignoreids'].split(','))
ValueError: invalid literal for int() with base 10: ''

A noter d'après gotify il y aurait eut a priori en même temps une MàJ de l'image de grafana mais je ne vois pas le rapport avec speedtest2.

Ou bien ne serait-ce pas l'image de base qui aurait été mise à jour et qui serait à l'origine de ce problème ? Je ne saurais dire. En tous cas je n'ai pas vu sur Github de MàJ récente. Mais je peux me tromper.

Est-ce qu'il faut quand même reconstruire l'image speedtest2 pour prendre en compte une éventuelle évolution de celle de base ?

Ton avis STP

Cordialement

oracle7😉

[bruno78]

@oracle7 bonjour,

de ce que je vois de ton log, le test de connectivité à influxdb est successful :

il y a 33 minutes, oracle7 a dit :

2021-04-08 07:10:28,979 - DEBUG: Testing connection to InfluxDb using provided credentials 2021-04-08 07:10:28,990 - DEBUG: Successful connection to InfluxDb

Or il s'agit là de la seule modification que j'ai faite pour cette nouvelle image.

L'erreur semble plutôt venir du module speedtest.py :

il y a 34 minutes, oracle7 a dit :

File "/usr/local/lib/python3.7/site-packages/speedtest.py", line 1174, in get_config map(int, server_config['ignoreids'].split(',')) ValueError: invalid literal for int() with base 10: ''

Il faudrait aller voir ce qu'il y a en ligne 1174 de speedtest.py. Mon container speedtest n'est pas en service actuellement, je suis en train de l'adapter pour Influxdb-V2 (c'est pas gagné !). Je vais voir si je peux relancer temporairement avec influxdb-V1.

Cdt, bruno78

[Jeff777]

@oracle7 @bruno78

Bonjour,

Même problème :

[bruno78]

@oracle7 @Jeff777 bonjour,

cela ressemble un un pb de mise à jour d'image speedtest que vous avez du subir en même temps !

Avez vous essayer de reconstruire l'image speedtest2 ? Je ne pourrai pas faire de tests avant ce soir ....

bruno78

[oracle7]

@bruno78

Bonjour

Merci de ta réponse rapide.

Voici un extrait avec la ligne 1174 mais comme je n'y comprends pas grand chose, j'espère que cela te parlera 🤔

1173        ignore_servers = list(
1174            map(int, server_config['ignoreids'].split(','))
1175        )

Sinon voici le fichier complet : speedtest-cli

@Jeff777

Ah,ah !!! cela me rassure, je ne suis pas seul a avoir ce problème. Du coup, peut-être que cela se passe au niveau des serveurs speedtest ? je dis une c...ie ?

Cordialement

oracle7😉

@bruno78

Bonjour,

OK je fais une reconstruction d'image pour voir. Je dis ensuite ce qu'il en est.

Cordialement

oracle7😉

[oracle7]

 oracle7😉

@bruno78, @Jeff777

Bonjour,

Je viens de supprimer l'image speedtest2 et de la recréer :

root@Maeva56:/volume1/docker/speedtest# docker build -f Dockerfile --rm --tag speedtest2 .
Sending build context to Docker daemon  545.3kB
Step 1/2 : FROM atribe/speedtest-for-influxdb-and-grafana:latest
 ---> 99c2c10d1e41
Step 2/2 : COPY ./InfluxdbSpeedtest.py /src/influxspeedtest/
 ---> 0b2044c99dfe
Successfully built 0b2044c99dfe
Successfully tagged speedtest2:latest
root@Maeva56:/volume1/docker/speedtest# docker image ls
REPOSITORY                                  TAG                 IMAGE ID            CREATED             SIZE
speedtest2                                  latest              0b2044c99dfe        11 seconds ago      111MB
grafana/grafana                             latest              13b20b4fe691        22 hours ago        204MB
root@Maeva56:/volume1/docker/speedtest# cd ../scripts_instal/speedtest2
root@Maeva56:/volume1/docker/scripts_instal/speedtest2# docker-compose up -d
Creating speedtest2 ... done
root@Maeva56:/volume1/docker/scripts_instal/speedtest2# docker logs -f speedtest2
Loading Configuration File config.ini
Configuration Successfully Loaded
2021-04-08 08:42:17,674 - DEBUG: Testing connection to InfluxDb using provided credentials
2021-04-08 08:42:17,683 - DEBUG: Successful connection to InfluxDb
2021-04-08 08:42:17,683 - INFO: Starting Speed Test For Server None
2021-04-08 08:42:17,701 - DEBUG: Setting up SpeedTest.net client
Traceback (most recent call last):
  File "/src/influxspeedtest.py", line 8, in <module>
    collector.run()
  File "/src/influxspeedtest/InfluxdbSpeedtest.py", line 179, in run
    self.run_speed_test()
  File "/src/influxspeedtest/InfluxdbSpeedtest.py", line 127, in run_speed_test
    self.setup_speedtest(server)
  File "/src/influxspeedtest/InfluxdbSpeedtest.py", line 77, in setup_speedtest
    self.speedtest = speedtest.Speedtest()
  File "/usr/local/lib/python3.7/site-packages/speedtest.py", line 1091, in __init__
    self.get_config()
  File "/usr/local/lib/python3.7/site-packages/speedtest.py", line 1174, in get_config
    map(int, server_config['ignoreids'].split(','))
ValueError: invalid literal for int() with base 10: ''

Bah, cela ne marche pas, ce n'est pas cela le problème ... 🥴

Cordialement

oracle7😉

 

[Jeff777]

oui j'avais fait la même chose même résultat 😉

[oracle7]

@bruno78, @Jeff777

Bonjour,

Au moins la version HTTP marche toujours ... 😛

Cordialement

oracle7😉

 

[Jeff777]

Euh.... correction. Je n'ai pas recréé l'image de speedtest2 car je ne l'utilise pas. Je suis toujours en version d'origine mais j'ai quand même le problème, même en recréant le container.