[TUTO] Monitorer sa Freebox Revolution

[bruno78]

Bonjour,

ci-jointe une version 053 du fichier script Python. Il contient l'ensemble des correction évoquées précédemment :

1. rajout des tags de modulation xDSL
2. rajout du test de présence de l'AP wifi (est-ce que le wifi est activé ou non sur la Fbox)
3. modification du paramètre authentification : with open(cfg_file, "a") as authFile (au lieu de with open(cfg_file, "ab") as authFile)
4. rajout du test de présence champ 'host' ; ce champ est absent si on a déclaré un bail DHCP statique sans le nom de la station.

J'ai mis à jour le tuto en conséquence

freebox_053.py

 

Modifié le 8 mai 2020 par bruno78

[Jeff777]

Ok je vais recommencer avec celui-ci.

Je viens de faire quelques tests de coupure d'alimentation pour voir si le monitoring de l'UPS fonctionnait correctement et j'ai vu que les données UPS Load et UPS Charge ne correspondaient pas à la réalité. 

J'avais sélectionné le paramètre mean au lieu de last. Je crois que je vais peut-être me tremper dans la notice de grafana 🙄 

[bruno78]

grafana n'est pas toujours intuitif. Mais tant que tu as les erreurs dans la console fbx_telegraf a propos du script python ....

[Jeff777]

J'ai arrêté puis supprimé le docker fbx_telegraf

Supprimé la data source influxdb-1 freebox

supprimé les 2 dashboards freebox 

Révoqué l'appli grafanamonitor dans la freebox

supprimé le répertoire fbx_telegraf

Mon log grafana :

grafana (1).xlsx

Le dashboard du nas est toujours fonctionnel.

Y a -t-il quelque chose à vérifier avant de reprendre le tuto  avec le fichier 53 ?

C'est normal que les containers changent d'adresse IP ?

Je m'absente un moment

Modifié le 8 mai 2020 par Jeff777

[bruno78]

Peut-être également supprimer la database influxdb "fbx_database" ? (se connecter sur influxdb et faire un DROP DATABASE fbx_database ).

En ce qui concerne les adresses IP, j'ai l'habitude de les fixer dans le docker-compose.yaml, comme ca je suis sûr qu'elles ne bougent pas.

[.Shad.]

Le fait que les IP changent ne gênent normalement pas, car ils utilisent normalement leurs noms pour communiquer entre eux.

Modifié le 8 mai 2020 par .Shad.

[Jeff777]

Il y a 1 heure, bruno78 a dit :

(se connecter sur influxdb et faire un DROP DATABASE fbx_database ).

Je n'ai pas la commande drop. A moins que j'ai mal fait ?

 

[Jeff777]

En reprenant le tuto du début je me souviens avoir bidouillé au début pour adapter le docker-compose à ma situation.

J'ai appliqué le Tuto de @.Shad. à la lettre donc mon réseau s'appelle data_export.

Je n'ai pas tenu compte des paragraphes suivants :

Configuration des dockers existants et Création du nouveau docker : fbx_telegraf (les deux premières lignes concernant l'adressage)

J'ai juste remplacé monitoring par data_export et 172.20.0.5 par 172.18.0.5  (sauf que maintenant c'est infludb qui a ce numéro d'IP)

Est-ce suffisant/correct  ?

Edit : j'ai certainement fait autre chose car cela ne suffit pas !

Merci de votre patience à tous les deux ☺️

Modifié le 8 mai 2020 par Jeff777

[.Shad.]

Je remarque que le nom de ton image Telegraf est étrange sur ton impression d'écran de Portainer.

Pour repartir d'une base saine, je te conseille de faire la chose suivante :

1. Tu conserves les fichiers docker-compose.yml pour chaque conteneur et le fichier telegraf.conf
2. Tu exportes éventuellement tes dashboards si tu les as customisés
3. Tu arrêtes chaque conteneur avec docker-compose down
4. Tu vas taper docker image prune (ou tu effaces l'image de telegraf depuis Portainer, ça marche très bien) en SSH, et tu confirmes
5. Tu supprimes tout le contenu des dossiers data de Influxdb et grafana

Tu vas refaire les manips de mon tutoriel, et, avec l'accord de @bruno78, je te propose d'utiliser le même conteneur Telegraf pour les données du NAS et de la Freebox, il va falloir ajouter les volumes dont il a besoin et qu'il définit dans ce tutoriel :

• le volume lié au script python
• (éventuellement) le volume pour les logs

On peut garder les ports de mon tutoriel, @bruno78 les a intelligemment décalés pour ne pas entrer en conflit avec mon conteneur, ici si on utilise le même donc pas besoin.
Dans notre cas du coup, ce sera la même datasource InfluxDB qui regroupera les données du NAS et de la Freebox.
Suite :

1. Tu ajoutes le paragraphe [[inputs.exec]] du tutoriel pour la collecte des métriques de ta Freebox
2. Tu disais que ta Freebox n'est pas sur le même réseau, est-ce que ton NAS autorise les connexions entrantes depuis le sous-réseau de celle-ci ?

A partir de là, je pense que tu une base saine et prête pour appliquer ce tutoriel. On docker-compose up -d et on regarde ce que disent les logs.

Modifié le 8 mai 2020 par .Shad.

[bruno78]

@.Shad., @Jeff777,

1. d'une façon ou d'une autre, il faut repartir d'une base saine et vierge.
2. même docker telegraf pour le NAS et la Fbox: j'avais essayé au début, mais sans succès.  Peut-être / surement n'avais-je pas poussé assez loin, et je débutais encore sur le sujet. Donc ça m’intéresse 🙂 je continue à suivre !
3. je pense qu'il faut vraiment y aller étape par étape et ne passer à la suivante que lorsque validée
   1. Docker(s) telegraph
      1. on vérifie que l'on arrive bien à aller chercher les infos sur le NAS et la fbox.
      2. à ce stade, il ne doit plus y avoir de problème python
   2. Docker Influxdb
      1. vérifier que telegraf envoie bien ses données à influxdb
      2. vérifier que la/les bases influxdb se remplissent
   3. Docker Grafana
      1. vérifier que grafana se connecte bien sur la/les bases de données influx
      2. créer les graphes

[Jeff777]

Il y a 2 heures, .Shad. a dit :

repartir d'une base saine

Bon puisqu'il y a consensus je vais y aller mais à ma vitesse.

 

[Jeff777]

Il y a 3 heures, .Shad. a dit :

• Tu conserves les fichiers docker-compose.yml pour chaque conteneur et le fichier telegraf.conf
• Tu exportes éventuellement tes dashboards si tu les as customisés
• Tu arrêtes chaque conteneur avec docker-compose down

1 et 2 OK

3 je n'ai pas la commande down. J'arrête les conteneurs depuis docker ?

et si je fais ça je suis bloqué pour 4 effacer l'image de telegraf avec Portainer:

 Bon j'avance. J'ai supprimé le docker telegraf ce qui m'a permis de supprimer l'image "étrange" d'ailleurs il y avait aussi deux autres images inutilisées.

Modifié le 8 mai 2020 par Jeff777

[Jeff777]

Il y a 3 heures, .Shad. a dit :

Tu supprimes tout le contenu des dossiers data de Influxdb et grafana

Fait

Je détruit le répertoire fbx_telegraf

[.Shad.]

Tu as un conteneur Telegraf qui utilise encore l'image, tu peux stopper stopper et effacer le conteneur manuellement puis ensuite effacer l'image avec Portainer ou la commande :

docker rmi <nom_de_l_image_telegraf>

Pour :

docker-compose down

c'est très étonnant que ça ne marche pas, ça doit être écrit dans le dossier où se trouve le fichier docker-compose de Telegraf, je ne l'ai pas précisé (comme pour up -d)

Modifié le 8 mai 2020 par .Shad.

[Jeff777]

Bon je fais le point avant de modifier le docker-compose de telegraf avec les ajouts de @bruno78.

Dans le répertoire docker j'ai :

grafana avec le docker-compose et un répertoire data vide

influxdb même chose

telegraf avec le docker-compose telegraf.conf et telegraf.conf.back

Les conteneurs  grafana et influxdb sont arrêtés. Le conteneur telegraf n'est pas créé.

 

[bruno78]

finalement tu fais un telegraf unique pour NAS et Fbox ? ou 2 telegraf ? ou juste Fbox pour le moment ?

[Jeff777]

J'essaie un telegraf unique mais c'est peut-être ambitieux 🙄

[.Shad.]

Supprime les 3 conteneurs, et tu refais docker-compose up -d pour chacun.

[Jeff777]

il y a 2 minutes, .Shad. a dit :

Supprime les 3 conteneurs,

C'est fait. 

Je complète le docker-compose de telegraf

[bruno78]

Je dois m'absenter un moment. Bon courage

Envoyé de mon STF-L09 en utilisant Tapatalk

[Jeff777]

Docker-compose de telegraf :

Est ce que je peux garder le même en ajoutant les lignes de création des dossiers py et log ?

[bruno78]

a priori oui, peux-tu montrer à quoi il ressemble ?

[Jeff777]

version: "2"
services:
    telegraf:
        image: telegraf
        container_name: telegraf
        hostname: telegraf

        environment:
            - PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/bin:/sbin:/usr/local:/usr/src
            - TZ=CET
        mem_limit: 75M

        volumes:
            - "/volume1/docker/telegraf/telegraf.conf:/etc/telegraf/telegraf.conf:ro"
            - "/proc:/host/proc:ro"
            - "/usr/share/snmp/mibs:/usr/share/snmp/mibs:ro"
            - "/var/run/docker.sock:/var/run/docker.sock:ro"
            
            # pour le fichier de commande python d'acces a la freebox,
            # pour le fichier de commande python,
            # pour le fichier get-pip.py (install module pip puis requests)
            - "/volume1/docker/telegraf/py:/usr/local/py"  
            # pour le fichier log si on le met en place
            - "/volume1/docker/telegraf/log:/usr/local/log"
        
           
        ports:
            - 8125:8125/udp
            - 8092:8092/udp
            - 8094:8094
        restart: unless-stopped
        
networks:
    default:
        external:
            name: data_export

[bruno78]

Ça me semble ok, mais si @.Shad. peut confirmer ?

Envoyé de mon STF-L09 en utilisant Tapatalk

[.Shad.]

Ça me semble bon, pense bien à créer les dossiers py et log dans le dossier telegraf.
Et t'assurer que ton NAS accepte les connexions depuis le sous-réseau de ta Freebox.