Aller au contenu

[TUTO] Monitoring réseau (Telegraf + InfluxDB 1.8 + Grafana)


.Shad.

Messages recommandés

Il y a 21 heures, oracle7 a dit :

Je crois (sous réserves) que @bruno78 monitore directement les interfaces LAN de sa FreeBox. Il pourrait te confirmer ce qu'il arrive à faire pour l'interface WAN de celle-ci.

Bonjour, désolé un peu éloigné du forum ces derniers temps (je travaille à une version sans telegraf pour le monitoring de la freebox (remplacement du docker telegraf par un simple docker python; et je me frotte aux joies de l'exploitation des logs via promtail/loki .... ca prend du temps).

Bref pour en revenir aux interfacex LAN/WAN de la Freebox, je les atteins simplement car l'API mis à disposition le permet, mais ce n'est pas du SNMP. Donc je ne vois pas comment transposer ici ...

Cdt

Bruno78

Lien vers le commentaire
Partager sur d’autres sites

@Jeff777,

non a priori ça ne résout pas le problème :

msg="Unable to update container \"/fbx_py\": Error response from daemon: pull access denied for fbx_py, repository does not exist or may require 'docker login'. Proceeding to next." 

Par contre, une mise à jour periodique via un script shell lancé par une tache planifiée, ça doit pouvoir se faire.

Bruno78

Lien vers le commentaire
Partager sur d’autres sites

  • 2 semaines après...

Bonjour aux utilisateurs du monitoring NAS et réseau.

Mon dasboard surveille mes deux nas DS218+ et DS212+ et docker installé sur le premier.

J'ai installé DSM7 sur le DS218+ et cela a pour conséquence de ne plus transmettre les données de ce nas sauf pour ce qui concerne docker. Je vois toujours les données du DS212+.

J'ai vérifié sur le DS218+ que les paramètres snmp n'avaient pas changé. C'est bien le cas. 

Est-ce que vous avez la même résultat. Je vais regarder dans le dashboard si les datas ont changé.

Lien vers le commentaire
Partager sur d’autres sites

@Jeff777, @.Shad.,

quel est le problème exactement ? je ne suis pas sûr d'avoir compris le détail de la configuration.

De mon côté j'ai fait (pas terminé) quelques changements:

  • la vDSM7 ne me sert que pour des tests ponctuels. Je ne la supervise pas, par contre il m'arrive de faire des tests de supervision à partir de cette vDSM7.
  • considérant que ce n'est pas le job premier du NAS de faire du monitoring (même si il est capable de le faire on est d'accord), je "déporte" Grafana, Influxdb et Loki sur une VPS chez OVH, et je garde évidemment les process d'alimentation des données (telegraf, promtail, scripts perso) sur les entités concernées (NAS, RPi, VPS ). Le tout via un VPN OpenVPN entre le NAS et le VPS OVH.
  • Dans cette supervision du NAS (docker telegraf sur le NAS), il y a bien sûr le monitoring de l'ensemble des dockers tournants sur le NAS.

Bref, @Jeff777, comment puis-je t'aider ?

Cdt

Bruno78

Lien vers le commentaire
Partager sur d’autres sites

Je n'avais pas vu que tu étais passé sous DSM 7 sur ton NAS. 😉

Tu fais du site à site pour l'OpenVPN ? j'avais mis ça en place, mais je trouvais ça assez lourd, du coup je passe en TLS perso. Tu fais passer les données du conteneur Telegraf dans un client OpenVPN conteneurisé ? Puis OpenVPN-AS sur ton VPS dans le même sous-réseau qu'InfluxDB ?

Je ne suis pas fan du montage de Telegraf dans le cliet OpenVPN. 😕 Curieux de savoir comme tu t'es organisé. 😉 

Lien vers le commentaire
Partager sur d’autres sites

Je voulais juste savoir si tu avais le même problème c'est à dire ne plus recevoir de données depuis l'installation de DSM7. Edit : les valeurs de docker plus bas dans le dashboard sont bien transmises.

Ci dessous à gauche DS218+ avec DSM7 à droite DS212+ avec DSM6:

Capture.thumb.JPG.65efe42efd2f0dea95a937683f75442b.JPG

 

 

Modifié par Jeff777
Lien vers le commentaire
Partager sur d’autres sites

@Jeff777 , oui j'ai eu des soucis en passant à DSM7 (si tu remontes plus haut, en page 12, il y a un certain nombre d'echanges avec @.Shad.)

comment est configuré l'accès à influxdb dans ton telegraf.conf ? docker en mode bridge  ou host ? je suis revenu en mode bridge, avec la configuration ci-dessous:

###############################################################################
#                            OUTPUT PLUGINS                                   #
###############################################################################


# Configuration for sending metrics to InfluxDB
[[outputs.influxdb]]
  ## The full HTTP or UDP URL for your InfluxDB instance.
  ##
  ## Multiple URLs can be specified for a single cluster, only ONE of the
  ## urls will be written to each interval.
  # urls = ["unix:///var/run/influxdb.sock"]
  # urls = ["udp://127.0.0.1:8089"]
# urls influxdb NAS local : 
urls = ["http://influxdb:8086"]

@.Shad.,

oui c'est lourd, je ne sais pas si je vais garder cette conf vers un VPS/OVH. Compte tenu de la consommation mémoire d'influx entre autre, mon RPi 3 est un peu juste, c'est pour cela que j'ai tenté cette solution. Si trop lourd, je passerai sur un RPi4 en local. Et oui, je me suis servi de ton tuto OpenVPS sur VPS, donc normal que tu le reconnaisses !

Le VPN OpenVPS est directement monté sur le NAS (interface VPN client) vers le serveur OpenVPN sur le VPS. Le containeur Telegraf du NAS vise l'addresse IP privée (en 172.X.X.X) sur le VPS, ayant ajouté une route statique sur le NAS pour emprunter le VPN pour atteindre le VPS.

Ouais, .... c'est lourd ! C'est un essai (d'autant qu'hier le VPN est tombé mais n'est pas remoté tout seul ....

Pour info, enlever influx et grafan du NAS fait quasiment "économiser" 10% d'activité disque permenente .... sans compter l'économie de mémoire.

Bruno78

Lien vers le commentaire
Partager sur d’autres sites

@Jeff777,

ok, alors vérifie ce que tu as du côté de l'agent snmp :

##
## Synology 
##
 [[inputs.snmp]]
   # List of agents to poll
   agents = [  "172.20.0.1"  ]

172.20.0.1 étant ma passerelle du réseau bridge utlisé par tes dockers de monitoring (data_export pour toi)

image.png.bc311a9e4102206b26b05917fe296317.png

@.Shad.

pour mon info, le principe de la liaison TLS, c'est ce que tu expliques dans ton TUTO sur la centralisation des instance Docker avec Portainer ? Effectivement c'est peut-être plus simple à mettre en oeuvre qu'OpenVPN ...

Lien vers le commentaire
Partager sur d’autres sites

@bruno78

Ah non du tout, tout simplement une connexion chiffrée vers mon VPS qui atterrit sur son proxy inversé :

telegraf-influxdb-vps.png

Donc connexion chiffrée classique.

Mais je n'avais effectivement pas songé à utiliser la connexion VPN client du NAS.
Ca implique cependant que ce soit le conteneur Telegraf du NAS qui poll les autres périphériques de mon réseau, je suis donc tributaire de l'uptime du NAS (pas gênant en soi, il est toujours, mais dans l'absolu 😄).

En fait, j'ai pensé à une solution, et c'est quelque chose que j'aimerais arriver à concrétiser, c'est utiliser un réseau overlay de Docker Swarm. Tu relies les machines entre elles au travers d'un seul et même réseau, qui leur permet de communiquer. Si au sein de ce réseau je crée un conteneur Wireguard qui pourra communiquer avec celui du VPS, et que j'arrive à gérer le routage d'un point à un autre, j'aurais un VPN site à site facilement déployable entre mon réseau local et mon VPS. C'est théorique, il y a ptet des écueils mais ça me semble hyper séduisant sur le papier.

Tu as déjà joué avec Docker Swarm ?

Lien vers le commentaire
Partager sur d’autres sites

@bruno78
Je ne suis que d'un oeil votre discussion, mais ton dernier message a attiré davantage mon attention 😉
Tu as deux conteneur telegraf, un pour ta Freebox, et un pour le NAS.
Je me doute que c'est intentionnel, mais je me demande pour quelle raison ?
Bon j'ai une hypothèse, mais comme ça fait quelques mois que j'ai bricolé pour mon NAS, je ne suis plus sur... mais serait-ce parce que la configuration est vraiment différente pour le NAS et pour la Freebox que ça nécessite deux fichiers de configuration (et donc deux conteneurs) différents ?

Lien vers le commentaire
Partager sur d’autres sites

@Jeff777 Je pense que tu as un problème de résolution DNS (entre autres, il y a des messages relatifs à Ubiquity), sûrement depuis l'installation de ton Pi-hole :

1/ Tu tapes :

docker exec -it telegraf cat /etc/resolv.conf

Vérifie que c'est ce que tu as sur ton NAS.

2/ Si pas, docker-compose down puis up -d

3/ Tu revérifies ce que tu obtiens avec la commande en 1/

Lien vers le commentaire
Partager sur d’autres sites

@.Shad.

  • evidemment c'est plus simple. Si je galère avec le VPN, je ferai ainsi.
  • J'ai les telegrafs sur le NAS (nas_telegraf et fbx_telegraf), mais également un télégraf sur le RPi, qui passe par le VPN du NAS, .... moyennant là aussi l'ajout d'une route adequate ! Donc oui, c'est definitivement plus lourd et impactant que ta solution. Pourquoi n'y ai-je pas pensé avant ! (en tout cas l'exercice n'était pas ininteressant).

@MilesTEG1 beaucoup de raisons en fait :

  • instances docker pas mises en place au meme moment
  • garder une certaine indépendance entre les instances (ne pas casser le monitoring Fbx sous pretexte de "bricoler" le nas telegraf)
  • et puis et surtout pour la Fbx on a le problème de l'installation du Python, qui n'a pas été un long fleuve tranquile et s'est montré dependant à la version du docker telegraf.

Donc séparation des variables 🙂

@Jeff777,

pour l'url snmp.output :

c'est aussi ce que j'avais en DSM6 (l'adresse locale). Et en passant en DSM7 ca ne marchait plus et j'ai été obligé de mettre l'adresse du reseau docker. Mais je reste en local sur la meme machine. Je n'ai pas d'exemple avec 2 machines.

Lien vers le commentaire
Partager sur d’autres sites

Bon j'ai bien mis pihole en dns :

root@monnas:/volume1/docker/telegraf# cat /etc/resolv.conf
nameserver 192.168.1.7
options ndots:0

Tout redémarré. Même résultat.

Le problème doit venir de l'installation de DSM7 sur le nas 1. Le nas2 répond toujours normalement dans le même dashboard. J'ai vérifié que le snmp était bien resté activé dans la config. Je l'ai même désactivé et réactivé.
 

Lien vers le commentaire
Partager sur d’autres sites

Rejoindre la conversation

Vous pouvez publier maintenant et vous inscrire plus tard. Si vous avez un compte, connectez-vous maintenant pour publier avec votre compte.

Invité
Répondre à ce sujet…

×   Collé en tant que texte enrichi.   Coller en tant que texte brut à la place

  Seulement 75 émoticônes maximum sont autorisées.

×   Votre lien a été automatiquement intégré.   Afficher plutôt comme un lien

×   Votre contenu précédent a été rétabli.   Vider l’éditeur

×   Vous ne pouvez pas directement coller des images. Envoyez-les depuis votre ordinateur ou insérez-les depuis une URL.

×
×
  • Créer...

Information importante

Nous avons placé des cookies sur votre appareil pour aider à améliorer ce site. Vous pouvez choisir d’ajuster vos paramètres de cookie, sinon nous supposerons que vous êtes d’accord pour continuer.