Script Linux - Configuration de check de rétention de fichiers de backups

[baptodix]

Bonjour,

N'ayant pas pu trouver mon bonheur sur les différents sujets concernant le scripting linux dans les NAS Syno.

Je vous demande votre assistance pour la conception d'un script. Peut-être que cela servira à d'autre personnes.

 

Contexte :

J'ai un parc d'ordinateurs utilisant des logiciels de backups (Acronis, Veritas...).

Toutes les machines ont un job de backup mensuel (partitions C:+D:) pointant sur le NAS (organisé par sous-dossier de nom de machine).

Avec une rétention configuré à 3 (paramètres inclus dans les logiciels de backups).

Ex:  La station AZERTY à un job de backup pointant sur le NAS dans \\10.10.10.1\Sauvegardes\Mensuel\AZERTY\

On se retrouve donc avec les fichiers suivants après plusieurs mois d'utilisation dans le dossier AZERTY :

- Backup_AZERTY_C_089.v2i (Backup de la partition C de AZERTY du 05/2020)

- Backup_AZERTY_C_090.v2i (Backup de la partition C de AZERTY du 06/2020)

- Backup_AZERTY_C_091.v2i (Backup de la partition C de AZERTY du 07/2020)

- Backup_AZERTY_D_089.v2i (Backup de la partition D de AZERTY du 05/2020)

- Backup_AZERTY_D_090.v2i (Backup de la partition D de AZERTY du 06/2020)

- Backup_AZERTY_D_091.v2i (Backup de la partition D de AZERTY du 07/2020)

- Backup_AZERTY.sv2i (Fichier système de quelques Mo propriétaire qui se met à jour à chaque backups lancés)

 

Problème :

Il arrive de temps en temps que les rétentions gérés par les logiciels de backups "bug" et fassent des sauts de rétentions.

Dans la continuité de l'exemple ci-dessus, je vais avoir le fichier Backup_AZERTY_D_078.v2i qui va rester.

Il y a donc eu un saut de rétention. Le fichier de la partition D en 06-2019 ne s'est jamais supprimé. Et il restera indéfiniment dans le dossier.

 

Objectif :

Je cherche à concevoir un script dans le NAS qui va vérifier le bon déroulement de chaque rétentions de backups.

Et purger automatiquement les fichiers qui auraient dû être supprimés par le logiciel de backup, si il y en a.

 

Enjeux :

Evite de passer du temps à faire des vérifications et suppressions manuelles dans les dossiers du NAS.

Evite la saturation de stockage du NAS. 

 

Analyse fonctionnelle du script :

1) Scruter dossier par dossier (à partir de \\10.10.10.1\Sauvegardes\Mensuel\xxx) le contenu des fichiers stockés

Et exécuter le traitement ci-dessous à chaque fois.

2) Sélectionner les fichiers de type *.v2i, et filtrer par "_D_" dans le nom des fichiers

3) Trier la sélection par date (du plus récent au plus ancien)

4) Supprimer les fichiers sélectionnés à partir du 4ème plus ancien (si il y en a)

5) Refaire les points 2), 3), 4), avec le filtre "_C_"

 

Merci pour votre aide !

Modifié le 6 novembre 2020 par baptodix

[baptodix]

En support, 

J'ai trouvé ce bout de script sur it-connect :

 

if [  $(ls -l /volume2/PWS/Drive/ |wc -l)  -gt 4 ]; then

    rm /volume2/PWS/Drive/$(ls -lt /volume2/PWS/Drive/  | cut -d " " -f 20)

fi

Qui supprime le fichier le plus ancien si il y a plus que 4 fichiers. 

[.Shad.]

Je pense que tu es sur la bonne voie, j'avais fait un script de backup de mes roms RetroPie il y a deux ans que je commençais à m'intéresser au bash, tu peux essayer de t'en inspirer :

...

backupLocation=/path/to/backup
numberOfFiles=$(ls ${backupLocation} | wc -l)

## Versioning (4 samples)
if [ ${numberOfFiles} -gt "4" ]
then
    ls ${backupLocation} -t | sed -e '1,4d' | xargs -d '\n' rm -r
else
    :
fi

...

Pour expliciter un peu :

* ls | wc -l => décompte le nombre d'éléments présents
* ls -t => liste du plus récent au plus ancien
* sed -e '1,4d' => parmi ces éléments, supprime du stdout les 4 plus récents et affichent ceux qui sont plus anciens
* xargs -d '\n' rm -r => xargs assimile les éléments séparés par un retour à la ligne comme autant d'arguments pour la commande qui suit : rm -r => permet de les supprimer.

Il y a sûrement moyen de faire beaucoup mieux.
A commencer par utiliser par exemple Active Backup for Business si tes NAS sont compatibles (ce dernier intègre le versioning en plus de bien d'autres choses).

Modifié le 6 novembre 2020 par .Shad.