Aller au contenu

[TUTO] Monitoring réseau (Telegraf + InfluxDB 1.8 + Grafana)


.Shad.

Messages recommandés

@oracle7 Je pense savoir d'où vient le décalage que tu observes sans ton coefficient, il est simplement au niveau des unités, pour une raison que j'ignore si on considère qu'on lit des Mebibytes et pas des Megabytes (unités IEC vs SI) on tombe sur les valeurs exactes.
Exemple via htop :

memory-htop-1.png

7.62G de mémoire, en réalité ça correspond à ce que j'ai en Mebibytes, unités IEC :

memory-htop-2.png

Pour passer d'un palier à l'autre, on multiplie ou divise par 2^10.

Calcule maintenant 7629,3949999 / 8000 = 0,9536743749875

Il est là ton coefficient, pour avoir la bonne valeur sur Grafana il te suffit donc d'afficher ta mémoire en unités IEC : Units -> Data -> kibibytes (c'était en kilobytes à la base).

Et je constate exactement le même comportement au niveau du stockage, en utilisant des bytes(IEC) j'ai la valeur exacte que me renvoie le moniteur de ressources.

 

Lien vers le commentaire
Partager sur d’autres sites

Le 02/09/2020 à 08:25, MilesTEG1 a dit :

Je suis en train de voir aussi que les valeurs dans grafana ne sont pas tout à fait celles que j'ai dans le NAS :

image.png.10b4bd5cb7de790ed9cefc7c43a92824.png   image.png.3680e8818c792b417299373c12c4c7b2.png

Le requête :image.png.80da419e34ea5a750e16f009f18e8afa.png  image.png.0a1cda2b0da90b9e230b0d15bee3da6a.png   

Dans les unités, il y a ça de possible :  image.png.4afa79025bf9ba88b26d22564ca8b183.png image.png.9e8d7dd1fa66235a0e749baa5348f53f.png

J'ai essayé diverses unités byteo ou bits (en metric ou en IEC), sans réussir à obtenir les mêmes valeurs que celles du NAS.
Savez-vous où se trouve l'erreur ?

Je reviens sur cette discussion que tu as posté, dans générale=>type tu as choisi "donut" est ce que tu l'a rajouté comme visualisation car je ne l'ai pas par defaut 

Lien vers le commentaire
Partager sur d’autres sites

@wiwi95 Le panel c'est PieChart 

image.png.c6b6d43c6f2815ccaa634e8430f85ce9.png

 

Et oui c'est un plugins que j'ai ajouté : https://github.com/grafana/piechart-panel


 

Sinon, voilà mon dashboard actuel :
image.thumb.png.6aebdf70e0e7c43bc06d7c67c4a7b327.png
image.thumb.png.7544f11742ef83608d22649d209e2d1a.png
image.thumb.png.31771d40890e6104781feb4198321f4a.png
image.thumb.png.1aa87e973a419be271b70569e5d90ef6.png

 

Vous aurez constaté que les panel en gauge sont un peu pété... c'est une MAJ de grafana qui m'a fait ça... lorsque j'ai refait les jauges...

Lien vers le commentaire
Partager sur d’autres sites

il y a 56 minutes, .Shad. a dit :

Pour passer d'un palier à l'autre, on multiplie ou divise par 2^10.

Calcule maintenant 7629,3949999 / 8000 = 0,9536743749875

Il est là ton coefficient, pour avoir la bonne valeur sur Grafana il te suffit donc d'afficher ta mémoire en unités IEC : Units -> Data -> kibibytes (c'était en kilobytes à la base).

Et je constate exactement le même comportement au niveau du stockage, en utilisant des bytes(IEC) j'ai la valeur exacte que me renvoie le moniteur de ressources.

Ho j'avais pas vu ton message ! Super ça 😉

Merci 👍🏻

@.Shad. En fait en vérifiant je constate que j'avais mis cette unité dans les capacités des HDD 😉 Vais modifier pour la RAM 😉

 

@wiwi95 de rien 😉 
PS : si tu veux attirer l'attention de quelqu'un sur une réponse, pense à mettre un @ suivi du pseudo ^^ ça génère une alerte ^^

Modifié par MilesTEG1
Lien vers le commentaire
Partager sur d’autres sites

@.Shad.

Bonjour,

Merci pour l'information. Effectivement en supprimant le coef 0,954 de ma formule et en sélectionnant l'unité "kibibytes", j'obtiens au Megabytes près les valeurs du moniteur de ressources.

@MilesTEG1

Désolé, non pour la gestion de l'interface eth0, je patauge toujours ....🥴

Cordialement

oracle7😉

Lien vers le commentaire
Partager sur d’autres sites

@oracle7
Voilà les différentes interfaces dispo sur le routeur pour les débits :

image.png.4ab4e73a7f3b3512d7a4a2a58e10bed1.pngimage.png.eda33bce24da6e8fbf5e04fd478b3463.png
image.png.0b703e45136d9a149e325e91cad296d0.png
image.png.bcaa25b0106bad2c33857bdcd7d33243.png

Ça en fait des possibilités hein XD

Je n'ai pas vu de WAN dans la liste du coup faut sommer tout ce qui est présent ??
J'ai trop la flemme pour faire ça 😮 
Après, faudrait peut être juste faire la somme des ETH utilisés (moi j'ai le port 1 et le port 2 d'utilisés), et le wifi, donc WLAN et wifi, mais là aussi il y en a plein plein 😅

Il y a des interface dont je ne comprends pas le sens : lo ? vbr3 ? qca_nas-dev1 ?...
Des idées ?

Lien vers le commentaire
Partager sur d’autres sites

Il y a 14 heures, wiwi95 a dit :

je crois que j'ai trouvé comment régler l'uptime à voir dans le temps mais pour l'instant je tombe pile dessus

j'ai remplacé math/100 par /75

Capture d’écran 2020-12-26 à 20.44.20.png

Bonjour

Bon effectivement cette modification ne fonctionne pas ce matin l'uptime n'était plus synchronisé. 
j'ai regardé ce que tu as fais @MilesTEG1 mais c'est pas concluant non plus chez moi.

Sur mon NAS je suis à 3 jours et 5 heures 

 

Capture d’écran 2020-12-27 à 11.21.47.png

Modifié par wiwi95
Lien vers le commentaire
Partager sur d’autres sites

il y a 6 minutes, MilesTEG1 a dit :

@wiwi95 Je te conseille de masquer le n° de série de ton NAS dans les captures que tu postes ^^

👍 @MilesTEG1

j'ai une question concernant le status mise a jour, je comprend pas comment les valeurs sont relevé mon j'ai 2 ou 3 qui s'affiche alors que mon NAS est a jour.

Du coup voila comment j'ai paramétré 

Capture d’écran 2020-12-27 à 11.25.44.png

Lien vers le commentaire
Partager sur d’autres sites

@wiwi95
Je viens de vérifier l'uptime du NAS et du routeur :
Sur le NAS
image.png.c2a251ded586f93c98a3acbfa8b4c115.png
Sur le routeur : image.png.b32b8e64d8781233278858a0c2527a0b.png

 

Ce que dit grafana :

image.png.9277fa40826540fdbf292e7faf948097.png

Ce qui correspond bien 😉

1,24 week = 7j + 0,24*7 = 7j + 1,68j = 8j + 0,68x24 = 8j + 16,32h

4,81 day = 4j + 0,81x24 = 4j + 19,44h

 

Tu es sûr de l'uptime de ton NAS ?
Tu as mis quoi comme unité pour l'uptime dans Grafana ?

Lien vers le commentaire
Partager sur d’autres sites

il y a 3 minutes, MilesTEG1 a dit :

@wiwi95
Je viens de vérifier l'uptime du NAS et du routeur :
Sur le NAS
image.png.c2a251ded586f93c98a3acbfa8b4c115.png
Sur le routeur : image.png.b32b8e64d8781233278858a0c2527a0b.png

 

Ce que dit grafana :

image.png.9277fa40826540fdbf292e7faf948097.png

Ce qui correspond bien 😉

1,24 week = 7j + 0,24*7 = 7j + 1,68j = 8j + 0,68x24 = 8j + 16,32h

4,81 day = 4j + 0,81x24 = 4j + 19,44h

 

Tu es sûr de l'uptime de ton NAS ?
Tu as mis quoi comme unité pour l'uptime dans Grafana ?

Voila ce que j'ai mis 

si je comprends bien il faut que je rajoute des formules ? 😅

Capture d’écran 2020-12-27 à 11.29.52.png

Lien vers le commentaire
Partager sur d’autres sites

@wiwi95 par rapport à ta dernière question

Voilà ce que j'ai
:
image.png.d3f65068b84d594c70d8b950d8eab75b.png


Et voilà le code JSON du module, tu peux créer un nouveau panel et copier/coller mon code dans le code du nouveau panel :
Il te faudra juste modifier XXX.XXX.x.xxx par l'IP de ton NAS, et changer le datasource en fonction de ce que tu as mis comme nom à la BDD.

 

{
  "cacheTimeout": null,
  "columns": [],
  "datasource": "NAS_InfluxDB",
  "fieldConfig": {
    "defaults": {
      "custom": {}
    },
    "overrides": []
  },
  "fontSize": "100%",
  "gridPos": {
    "h": 4,
    "w": 12,
    "x": 12,
    "y": 0
  },
  "id": 23763571993,
  "links": [],
  "pageSize": null,
  "pluginVersion": "6.7.3",
  "showHeader": true,
  "sort": {
    "col": 1,
    "desc": false
  },
  "styles": [
    {
      "$$hashKey": "object:1549",
      "alias": "Time",
      "align": "auto",
      "dateFormat": "YYYY-MM-DD HH:mm:ss",
      "pattern": "Time",
      "type": "hidden"
    },
    {
      "$$hashKey": "object:1550",
      "alias": "",
      "align": "",
      "colorMode": null,
      "colors": [
        "rgba(245, 54, 54, 0.9)",
        "rgba(237, 129, 40, 0.89)",
        "rgba(50, 172, 45, 0.97)"
      ],
      "dateFormat": "YYYY-MM-DD HH:mm:ss",
      "decimals": 2,
      "mappingType": 1,
      "pattern": "Temps Fonct.",
      "thresholds": [],
      "type": "number",
      "unit": "timeticks"
    },
    {
      "$$hashKey": "object:1551",
      "alias": "",
      "align": "auto",
      "colorMode": "cell",
      "colors": [
        "rgba(50, 172, 45, 0.97)",
        "rgba(237, 129, 40, 0.89)",
        "rgba(245, 54, 54, 0.9)"
      ],
      "dateFormat": "YYYY-MM-DD HH:mm:ss",
      "decimals": 2,
      "mappingType": 1,
      "pattern": "Mise à jour",
      "preserveFormat": false,
      "thresholds": [
        "3",
        "4"
      ],
      "type": "string",
      "unit": "short",
      "valueMaps": [
        {
          "$$hashKey": "object:1599",
          "text": "Disponible",
          "value": "1"
        },
        {
          "$$hashKey": "object:1600",
          "text": "À jour",
          "value": "2"
        },
        {
          "$$hashKey": "object:1601",
          "text": "Connexion...",
          "value": "3"
        },
        {
          "$$hashKey": "object:1602",
          "text": "Déconnecté",
          "value": "4"
        },
        {
          "$$hashKey": "object:1603",
          "text": "Autres",
          "value": "5"
        }
      ]
    },
    {
      "$$hashKey": "object:6655",
      "alias": "",
      "align": "auto",
      "colorMode": null,
      "colors": [
        "rgba(245, 54, 54, 0.9)",
        "rgba(237, 129, 40, 0.89)",
        "rgba(50, 172, 45, 0.97)"
      ],
      "dateFormat": "YYYY-MM-DD HH:mm:ss",
      "decimals": 2,
      "mappingType": 1,
      "pattern": "agent_host",
      "thresholds": [],
      "type": "hidden",
      "unit": "short"
    },
    {
      "$$hashKey": "object:1552",
      "alias": "",
      "align": "",
      "colorMode": null,
      "colors": [
        "rgba(245, 54, 54, 0.9)",
        "rgba(237, 129, 40, 0.89)",
        "rgba(50, 172, 45, 0.97)"
      ],
      "decimals": 2,
      "pattern": "/.*/",
      "thresholds": [],
      "type": "number",
      "unit": "short"
    }
  ],
  "targets": [
    {
      "alias": "$col",
      "groupBy": [
        {
          "params": [
            "agent_host"
          ],
          "type": "tag"
        }
      ],
      "limit": "",
      "measurement": "snmp.SYNO",
      "orderByTime": "ASC",
      "policy": "default",
      "query": "SELECT last(\"modelName\") AS \"Model\", last(\"version\") AS \"Version\", last(\"serialNumber\") AS \"Serial\", last(\"sysUpTime\") AS \"Uptime\", last(\"upgradeAvailable\") AS \"Update\" FROM \"snmp.SYNO\" WHERE (\"agent_host\" = 'XXX.XXX.x.xxx') AND $timeFilter",
      "rawQuery": false,
      "refId": "A",
      "resultFormat": "table",
      "select": [
        [
          {
            "params": [
              "modelName"
            ],
            "type": "field"
          },
          {
            "params": [],
            "type": "last"
          },
          {
            "params": [
              "Modèle"
            ],
            "type": "alias"
          }
        ],
        [
          {
            "params": [
              "serialNumber"
            ],
            "type": "field"
          },
          {
            "params": [],
            "type": "last"
          },
          {
            "params": [
              "N° de série"
            ],
            "type": "alias"
          }
        ],
        [
          {
            "params": [
              "version"
            ],
            "type": "field"
          },
          {
            "params": [],
            "type": "last"
          },
          {
            "params": [
              "Version"
            ],
            "type": "alias"
          }
        ],
        [
          {
            "params": [
              "sysUpTime"
            ],
            "type": "field"
          },
          {
            "params": [],
            "type": "last"
          },
          {
            "params": [
              "Temps Fonct."
            ],
            "type": "alias"
          }
        ],
        [
          {
            "params": [
              "upgradeAvailable"
            ],
            "type": "field"
          },
          {
            "params": [],
            "type": "last"
          },
          {
            "params": [
              "Mise à jour"
            ],
            "type": "alias"
          }
        ]
      ],
      "tags": []
    }
  ],
  "timeFrom": null,
  "timeShift": null,
  "title": "System",
  "transform": "table",
  "type": "table-old"
}

 

il y a 1 minute, wiwi95 a dit :

Voila ce que j'ai mis 

si je comprends bien il faut que je rajoute des formules ? 😅

Moi j'ai ça : 
image.png.ddfedfa647334cb43e1563bfcaf51172.png

Inclus dans le code JSON 😉

 

Lien vers le commentaire
Partager sur d’autres sites

@wiwi95

Bonjour,

Bon travail ...🤗

Il y a 3 heures, wiwi95 a dit :

Plus tard je me pencherais sur les infos provenant de ma livebox tel que : BP utilisé, uptime...mais sure que ça soit réalisable.

JE ne voudrais pas faire le rabat joie mais je crains que ce ne soit pas possible. La Livebox est très vérrouillée. Personnellement cela fait un bail que je cherche des infos sur ce point, aussi si tu tu en as, n'hésites pas à les partager, tu fera pleins d'heureux ici.

Seul truc que j'ai trouvé pour l'instant est ceci mais ne n'est pas a priori intégrable au monitoring actuel de nos NAS. Mais encore une fois, à moins que tu ne saches faire ... alors je serais aussi preneur de tes infos.

Cordialement

oracle7😉

Lien vers le commentaire
Partager sur d’autres sites

@oracle7

En regardant vite fait pour les Livebox je suis tombé sur ça :

http://www.forum-orange.com/viewtopic.php?id=76019&p=1

Si tu télécharges le fichier zip, tu as un script en bash, qui utilise curl pour récupérer toutes les infos et les balancer à un serveur RRD qui va tracer les graphiques.

Il faudrait regarder si Telegraf ne sait pas réaliser ces requêtes curl, par bash ou python, et les envoyer à InfluxDB sous une forme qu'il saura interpréter.

Modifié par .Shad.
Lien vers le commentaire
Partager sur d’autres sites

@.Shad.

Bonjour,

Oui, je connaissais cette méthode que j'avais déjà trouvée lors de mes précédentes recherches.

il y a 23 minutes, .Shad. a dit :

Il faudrait regarder si Telegraf ne sait pas réaliser ces requêtes curl, par bash ou python, et les envoyer à InfluxDB sous une forme qu'il saura interpréter.

Pour ma part, cela dépasse encore mes compétences.

Par contre il y a aussi cela et cela dans le même genre en notant toutefois aussi une certaine complexité (toujours pour moi, mais d'autres ici sauraient peut-être) à transposer pour l'intégrer au monitoring actuel de nos NAS.

Cela dit, il y a quand même une autre voix qui me paraît bien plus prometteuse pour les mesures de débit IN/OUT internet. C'est celle-ci. Pour ma part, la première partie dépasse encore mes petites connaissances en docker mais je me dis que pour toi serait un "jeu d'enfant".

Aussi, je me permet de te demander de bien vouloir y jeter un œil avertit pour éventuellement nous concocter un mini TUTO de mise en œuvre. Enfin si tu le veux bien et que tu as un peu de ton précieux temps à y consacrer....

Ce serait sympa de ta part.🙂

J'ai aussi trouvé cela qui y ressemble mais malheureusement pas assez documenté à mon goût.

Cordialement

oracle7😉

Lien vers le commentaire
Partager sur d’autres sites

@wiwi95

Bonjour,

Il y a 5 heures, .Shad. a dit :

La valeur est tirée du fichier RFC1213-MIB.txt, c'est précisé que c'est en "hundredth of a second".

Si je puis me permettre, c'est bien pour cela qu'il faut l'instruction "math (/100)" pour ramener la valeur en secondes pour que ensuite, pour le champ en question tu fixes en "override" l'unité "Time / duration (d hh:mm:ss)".

Cordialement

oracle7😉

Lien vers le commentaire
Partager sur d’autres sites

@MilesTEG1

Bonjour,

Il y a 7 heures, MilesTEG1 a dit :

Je n'ai pas vu de WAN dans la liste du coup faut sommer tout ce qui est présent ??
J'ai trop la flemme pour faire ça 😮 
Après, faudrait peut être juste faire la somme des ETH utilisés (moi j'ai le port 1 et le port 2 d'utilisés), et le wifi, donc WLAN et wifi, mais là aussi il y en a plein plein 😅

Il y a des interface dont je ne comprends pas le sens : lo ? vbr3 ? qca_nas-dev1 ?...
Des idées ?

Voilà sous toutes réserves ce que j'ai pu trouver pour l'instant mais cela ne couvre pas tout !

Maintenant cela peut aussi varier avec tes branchements.

  • eth0 serait l'interface WAN du routeur (entre RT et LB)
  • eth1 serait l'interface LAN IPv4 du RT
  • eth2 serait l'interface LAN IPv6 du RT
  • wlan0 serait l'interface Wifi 2,4GHz du RT
  • wlan1 serait l'interface Wifi 5GHz du RT
  • gwlan0 serait l'interface Wifi invités 2,4GHz du RT
  • gwlan1 serait l'interface Wifi invités 5GHz du RT
  • gbr0 serait l'interface LAN invités IPv4 du RT
  • vbr3 serait l'interface VPN SSTP du RT

image.png.a60f54aeb7de1e9aba108c9f5ff7a1b9.png

Donc dans la clause "FROM" tu remplaces "eth0" par le nom d'interface qui va bien. J'ai aussi fait varier le paramètre de l'instruction "non_negative_derivative" qui me change juste l'échelle (axe Y) sans vraiment savoir quelle valeur est la bonne en fait.

Mais entre nous, cela ne me satisfait pas pleinement, car j'ai du mal à retrouver les valeurs du moniteur de ressources.

Comme je te le disais, je patauge toujours pour trouver le bon réglage ...

Mais peut-être que cela t'ouvrira une piste ... A voir tes suggestions ...

Cordialement

oracle7😉

 

Modifié par oracle7
Lien vers le commentaire
Partager sur d’autres sites

il y a 33 minutes, oracle7 a dit :

Si je puis me permettre, c'est bien pour cela qu'il faut l'instruction "math (/100)" pour ramener la valeur en secondes pour que ensuite, pour le champ en question tu fixes en "override" l'unité "Time / duration (d hh:mm:ss)".

@oracle7 Perso j'aime pas cet affichage "d hh:mm:ss" c'est pas très lisible et pas très élégant... Et on ne peut pas le personnaliser : j'aurais préférer un affichage comme "2j - 12h52min" ou "2j - 12h52".
Du coup, je laisse l'unité en Timeticks (s/100) et je laisse le système me dire combien ça fait ^^

Car si tu as plusieurs semaines d'uptimes, ça va faire beaucoup de jours ^^

 

il y a 5 minutes, oracle7 a dit :

Voilà sous toutes réserves ce que j'ai pu trouver pour l'instant mais cela ne couvre pas tout !

Maintenant cela peut aussi varier avec tes branchements.

eth0 serait l'interface WAN du routeur (entre RT et LB)

Haaa, cool ^^
Tu as eu les infos quelque part ? Ou bien ce sont des déductions ?

En tout cas, c'est étrange de numéroter ainsi...
Et du coup, tous les ports LAN sont mis dans le même lot c'est ça ?

il y a 3 minutes, oracle7 a dit :

Donc dans la clause "FROM" tu remplaces "eth0" par le nom d'interface qui va bien. J'ai aussi fait varier le paramètre de l'instruction "non_negative_derivative" qui me change juste l'échelle (axe Y) sans vraiment savoir quelle valeur est la bonne en fait.

Je vais essayer 😉
Sinon pour les valeurs, faut peut être mettre, comme pour les capacités, l'unité byte IEC.
J'essaie dès que je peux 😉

 

Lien vers le commentaire
Partager sur d’autres sites

@MilesTEG1

Bonjour,

il y a 17 minutes, MilesTEG1 a dit :

Tu as eu les infos quelque part ? Ou bien ce sont des déductions ?

C'est le fruit de mes recherches sur le tas, en recoupant les infos d'@IP, d'@MAC, ifconfig en SSH, etc ... D'où les limites à ne pas tout trouver et donc tout expliquer. Synology ne nous aide pas non plus beaucoup, sa doc est aussi assez "pauvre" quelque part 🥴

il y a 19 minutes, MilesTEG1 a dit :

Et du coup, tous les ports LAN sont mis dans le même lot c'est ça ?

Que veux-tu dire ?

il y a 20 minutes, MilesTEG1 a dit :

Perso j'aime pas cet affichage

Là effectivement chacun voit "midi à sa porte" 🤪

Cordialement

oracle7😉

Lien vers le commentaire
Partager sur d’autres sites

Rejoindre la conversation

Vous pouvez publier maintenant et vous inscrire plus tard. Si vous avez un compte, connectez-vous maintenant pour publier avec votre compte.

Invité
Répondre à ce sujet…

×   Collé en tant que texte enrichi.   Coller en tant que texte brut à la place

  Seulement 75 émoticônes maximum sont autorisées.

×   Votre lien a été automatiquement intégré.   Afficher plutôt comme un lien

×   Votre contenu précédent a été rétabli.   Vider l’éditeur

×   Vous ne pouvez pas directement coller des images. Envoyez-les depuis votre ordinateur ou insérez-les depuis une URL.

×
×
  • Créer...

Information importante

Nous avons placé des cookies sur votre appareil pour aider à améliorer ce site. Vous pouvez choisir d’ajuster vos paramètres de cookie, sinon nous supposerons que vous êtes d’accord pour continuer.