Timebackup "mange" 2,4 Go Toutes Les Heures

[SAMU]

Je n'ai jamais eu ce message mais mon disque de 2 To dispose encore de près de 1000Go.

N'étant plus qu'en config de test (voir + haut), j'espère te répondre avant 3 ans (1000Go / 0,04Go / 24h = ~1041 jours).

Si j'étais resté en production il m'aurait fallu au max 17 jours (voir + haut).

Deux questions, cependant:

- Ton répertoire source, n'a-t'il pas une poubelle (#recycle) qui aurait, à chaque sauvegarde, de nouveaux fichiers (temporaires, par exemple) ?

- N'as-tu pas choisi "Smart Recycle Verrouillé" ?

- N'as-tu pas oublié une routine (type "Sauvegarder et Restaurer") qui gonflerait l'utilisation du disque (au début, je l'avais oubliée) ?

Si la réponse est non à chaque question, tu devrais faire un peu de place sur le disque cible et créer une tâche de sauvegarde, la plus économique en fichiers (taille, nombre), capable de mettre en évidence le principe d'inflation que tu sembles observer.

Pour les tests:
- faire les sauvegardes en manuel, évite d'attendre (mais 1 par mn seulement possible);

- utiliser le "Gestionnaire de stockage" qui devrait répercuter ce que le disque indique, lui, comme place occupée, sans faire de calculs pouvant mélanger fichiers et hard links.

A bientôt, pour les résultats de tes tests.

Modifié le 19 mars 2013 par SAMU

[SAMU]

Du nouveau se prépare. Voici le dernier message de Synology :

"We have a fix for is_read_only, the missing attribute issue, and would like to obtain rryour remote access to apply the fix on DiskStation in terms of addressing the issue."

("Nous avons une solution pour is_read_only, le problème d'attribut manquant, et nous souhaiterions obtenir votre accès à distance pour appliquer le correctif sur votre DiskStation afin de régler le problème.")

Il y a 7 heures de décalage avec Taipei. Ils n'interviendront donc pas avant cette nuit....

...à demain !

Modifié le 20 mars 2013 par SAMU

[thierry.]

Merci Samu pour les suggestions. Faut que je teste.

J'ai un problème sur mon ordi depuis ce week end, et je n'ai pas encore eu le temps de voir sur le NAS.

Question: j'ai bien un bouton "Activer Smart Recycle"

mais je n'ai rien vu pour "Smart Recycle Verrouillé" dont tu parles.

C'est situé où ?

J'avais bien une routine "Sauvegarder et Restaurer" avant de tester le TimeBackup. Mais je l'avais désactiver. Je vais la supprimer, ce sera plus sûr.

Je pense effacer le disque USB, et faire un test à petite échelle, avec quelques dossiers. En manuel comme tu dis, pour voir si ça gonfle trop vite.

(Mon NAS avait tourné pendant 48h pour la première phase de Time Backup (plus d'un To). Je vais pas refaire la même chose pour un test)

[SAMU]

Pour ce qui est de l'option de "Smart Recycle", il faut entrer dans "Times Backup", puis "Tâches", puis se positionner sur la tâche désirée (ligne bleuie), puis "Sauvegarder maintenant".
C'est là qui faut vérifier pour "Smart recycle" que l'option "Déverrouillé" est bien cochée.
Ceci s'applique aux sauvegardes manuelles que tu feras certainement pour tes tests (évite d'attendre les horaires programmés dans le gestionnaire de tâche).

Pour ton test, je te propose de créer 10 fichiers tels que:
"0.txt", "1.txt", "2.txt", "3.txt", "4.txt", "5.txt", "6.txt", "7.txt", "8.txt", "9.txt"
de 1 octets.

Tu les recopies dans 1 répertoire contenant 4 sous-niveaux de sous-répertoires où ils seront également copiés.
Enfin tu recopie 9 fois les répertoires incluant ces 4 sous-répertoires.
Tu obtiens ainsi, en moins de 5 minutes, un peu plus de 100.000 fichiers répartis dans un peu plus de 10.00 répertoires.
Ces fichiers représentent un peu plus de 100.000 octets et occupent un peu plus de 100 Mo sur le disque (secteurs de 1ko).

Dans cette configuration, mes tests ont permis de mettre en évidence une perte de près de 40 Mo à chaque sauvegarde.
Avec les répertoires de production (~100 Go=>100 Go sur le disque) j'ai une perte de 4 Go (ça ne semble donc pas proportionnel).

Tiens-moi au courant de tes tests, s'il te plait.

Modifié le 22 mars 2013 par SAMU

[SAMU]

Bien que SYNOLOGY se soit connecté au DS413, je n'obtiens aucune nouvelle de SYNOLOGY, malgré mes relances.
Il n'y a, de toute façon aucun changement: chaque sauvegarde de fichiers non modifiés continue de manger de la place.

Plus fort, j'ai fait un test de sauvegarde de 1000.000 fichiers de 0 octets répartis dans 10.000 répertoires: 40 Mo sont utilisés à la 1ère sauvegarde !

En principe, cette sauvegarde devrait occuper 0 octet (0 secteur occupé par fichier) !

Ensuite 40 Mo sont également mangés à chaque sauvegarde !

Modifié le 22 mars 2013 par SAMU

[SAMU]

Ca y est, j'ai reçu confirmation que SYNOLOGY a patché mon Time Backup. J'ai donc vérifié, cette fois sur la sauvegarde de la copie du répertoire de production.
Elle "mangeait" 2,4 Go avant intervention, maintenant ce n'est plus que 0,02 Go.

C'est mieux mais le problème n'est pas totalement résolu puisque, sur mes répertoires de tests regroupant 100.000 fichier dans 10.000 sous-répertoires (répertoires de fichiers de 0 octet, 1 octet et 1Ko), Time Backup "mange" toujours 0,04 Go pour rien !
N.B. étonnement 0,02 Go plus haut !!!

La 1ère sauvegarde de 0 octet continue de me déconcerter...

Modifié le 22 mars 2013 par SAMU

[CoolRaoul]

C'est mieux mais le problème n'est pas totalement résolu puisque, sur mes répertoires de tests regroupant 100.000 fichier dans 10.000 sous-répertoires (répertoires de fichiers de 0 octet, 1 octet et 1Ko), Time Backup "mange" toujours 0,04 Go pour rien !

Chaque sauvegarde TimeBackup necessite au minimum la création d'autant de répertoires qu'il en existe dans la source.

Seuls les fichiers sont "hardlinkés"

On ne peut pas donc dire que le problème n'est pas résolu puisque ce que tu constates est le comportement normal de TimeBackup (celui que l'on observait jusqu'ici dans les versions précédentes)

[SAMU]

...déconcerté mais non sans idée.

Nouveau test, cette fois sans fichier, uniquement avec 10.000 répertoires.

Le résultat est identique ! (0,04 Go utilisé).

Tellement habitué à penser qu'un répertoire vide n'occupe pas de place sur le disque, je n'avais pas réalisé qu'une entrée de répertoire en prend elle-même !

Par exemple mon répertoire contenant les 10.000 sous-répertoires vides occupe, en fait, près de 16 Mo sur mon disque PC formaté en NTFS avec secteurs de 512Ko.

Qu'en est-il de Linux pour le disque formaté EXT 4 avec secteurs de 1Ko du DS413 ?

40 Mo ne paraissent pas disproportionnés.

Un spécialiste de Linux aurait-il la réponse ?

[CoolRaoul]

Un spécialiste de Linux aurait-il la réponse ?

Et quelle est la question exactement ?

[SAMU]

Parait il disproportionné que 10.000 entrées de répertoires, sur un disque formaté EXT 4 avec secteurs de 1Ko, occupent 40 Mo ?

[CoolRaoul]

Parait il disproportionné que 10.000 entrées de répertoires, sur un disque formaté EXT 4 avec secteurs de 1Ko, occupent 40 Mo ?

Ah ok,

aucune idée

[Zorineau]

Je rebondis sur ce post ...

ce patch pour l'attribut read_only est-il disponible ou as-til été intégré dans TimeBackup ?

je pense avoir un problème similaire ...

[SAMU]

Hasard ou communication de pensée, pour vérifier que le patch, que m'avait fourni Synology, était ou non intégré à la dernière version de TimeBackup, je viens de faire, ce matin, un test sur une nouvelle installation:

100 000 fichiers de 1ko répartis dans 100 répertoires de la racine (ils utilisent 102,4 Mo sur le disque utilisateur du syno).

Je lance un 1er TimeBackup vers le disque de sauvegarde: Bizarrement, après cette 1ère sauvegarde, mon volume de sauvegarde perd 395,28 Mo ! (exactement comme à l'instant précédant l'effacement des 104, 857 600 Mo de l'image disque, qui n'est donc peut-être pas réellement effacée mais cachée ???)

(Mais, pour Windows, seuls 102,4 Mo sont utilisés par le nouveau dossier de sauvegarde).

Si je ne modifie aucun des fichiers utilisateurs, les TimeBackup suivants font perdre 4,3Mo par sauvegarde à mon volume de sauvegarde (pourtant la création des 100 répertoires n'aurait du lui faire perdre que 0.4 Mo)

Les 4 Mo de mangés ici, à chaque TmeBackup, sont bien inférieurs aux problèmes que j'indiquais, il y a quelques mois.

Les "Hard Links" ne devraient pourtant pas consommer un seul octet !!!

(les 4 Mo pourraient correspondre à un "Log" caché: le listage des chemins internes occupant ~4Mo)

Quels sont tes propres observations ?

Modifié le 23 juillet 2013 par SAMU

[Zorineau]

je n'arrive pas vraiment a observer en fait ...

J'ai un volume de 150Go avec un delta quotidiens de moins de 50Mo et au bout d'une semaine les 500Go de la partitions cible sont pleins...

Les fichiers sont principalement des source d'installation de logiciel ...

J'ai deux répertoires partagés sauvegardé ainsi.

Au vus de cette conversation j'ai lancé via batch une commande pour retiré l'attribut lecture seul de tous les fichiers.

Je m'aperçois que sur les 2 partages un contient effectivement des ACL microsoft... je vais voir vu qu'elles ne sont pas utilisées pour les desactivés et voir si cela aide à resoudre mon problème ...

Je n'ai pas trouver de moyen pour l'instant pour obtenir la taille d'un repertoire en faisant abstraction des hardlinks....

Il me manque donc la possibilité de mener cette observation a bien ...

[SAMU]

J'ai un volume de 150Go avec un delta quotidiens de moins de 50Mo et au bout d'une semaine les 500Go de la partition cible sont pleins
Quelle est le nombre de TimeBackup total pour arriver à 500Go ?

De toute façon, il te faut faire des tests avec un répertoire de test, que tu modifieras volontairement, car à moins de connaitre exactement les modifs sources, tu ne peux pas finement analyser le problème depuis un répertoire utilisateur que tu contrôles mal.
(Faire les tests avec des TimeBackup manuels. Eviter les TimeBackup automatiques qui risquent de prendre au dépourvu)

Au vus de cette conversation j'ai lancé via batch une commande pour retirer l'attribut lecture seul de tous les fichiers.
Je m'aperçois que sur les 2 partages un contient effectivement des ACL Microsoft... je vais voir vu qu'elles ne sont pas utilisées pour les désactiver et voir si cela aide à résoudre mon problème
Il ne s'agit certainement pas des ACL Microsoft mais de ceux du volume EXT3 ou EXT4 gérés par Linux, DSM et TimeBackup.

Je n'ai pas trouvé de moyen pour l'instant pour obtenir la taille d'un répertoire en faisant abstraction des hard links....
Il me manque donc la possibilité de mener cette observation à bien ...
Avec " Gestionnaire de stockage", tu regardes la place restante ou utilisée (choisir celui où les unités sont en Mo, s'il y en a un).
Tu notes avant et après le TimeBackup.

Maintenant, merci de nous faire part de tes observations.

P.S.

Evidemment, le TimeBackup doit être fait en mode "Déverrouillé", sinon tu recopies les fichiers (et non les hard links).

Modifié le 24 juillet 2013 par SAMU

[Zorineau]

En fait il me remplis les 500Go en une douzaine de sauvegardes.

J'ai purgé certaines sauvegardes il y a 3 jours ... il me resté environ 150Go de libre sur la partition. aujourd'hui il ne me reste que 93Go.

Je fait tourner un rapport sur le Syno sur pour monitorer le volume modifié chaque jour je suis en dessous des 100Mo à chaque fois.

Sur les 2 partages un contenais des ACL windows (option activé dans les propriété du partage dans le DSM) je les ai supprimer aujoud'hui...

je vais surveiller le volume restant un peu plus serieusement a défaut de pouvoir évaluer la taille de chaque sauvegarde...

personne n'a de technique pour évaluer la taille d'un dossier sans les liens symbolique ?

[Zorineau]

ui ui

En fait le time backup est planifié pour tourner une fois par jour a minuit ...

et je viens juste derealiser que je pouvais en lancer autant que je le souhaitais dans la journée pour voir ce qu'il en est

[SAMU]

Copie le répertoire source, qui te pose problème, dans un répertoire de test et faits des manip avec celui-ci.

L'idéal serait de créer un nouveau volume (s'il te reste de la place) comme cible, pour cette sauvegarde de test (sinon désactive les TimeBackup automatiques pour contrôler la situation de tes tests et de tes mesures).

[Zorineau]

Il va falloir que je trouve du temps pour faire ça ... mais je ne vais pas y couper semble-t-il ...

Petit bilan des tests du jour :

Hier situation exceptionnelle, j'ai injecté 7Go de données dans le volume. delta d'occupation sur le disque de sauvegarde 25Go ....

dans la foulée j'ai relancé 3 timebackup manuels. chacun a pris 150Mo ...

Personnellement les 150 Mo ne me dérange pas du tout ... par contre les 25 pour 7 un peu plus ...

Demain j'aurais l'occupation après une journée d'utilisation... et j'essayerais les scénarii que tu me proposes.

[SAMU]

N'oublie pas que la poubelle ("Recycled"), si tu en as une, est perpétuellement alimentée de fichiers temporaires et est backupée à chaque fois.
(je dois finaliser un utilitaire qui évite la sauvegarde de cette encombrante poubelle).
(j'ai également un projet permettant d'éviter la sauvegarde inutile des dossiers avec hard links qui prend de la place inutilement et ne permet pas d'identifier facilement les fichiers modifiés ou effacés).

*J'utilise encore un utilitaire que j'avais développé autour de Robocopy (Windows). Avec lui, pour 100Go de documents, ce sont des années de sauvegardes, chaque heure, que je conserve sur quelques centaines de Go.
Avec TimeBackup, même patché, on est loin du compte, puisqu'avec ces mêmes 100Go de documents répartis dans 10 000 dossiers, c'est 40Mo qui sont engloutis chaque heure, sans même un octet modifié (40Mo/h --> ~1Go/jour --> ~100 Go/trimestre).
Il ne s'agit pourtant que de la seule place occupée par les dossiers recréés à chaque sauvegarde !

Modifié le 25 juillet 2013 par SAMU

[Zorineau]

bon ma sauvegarde s'est stabilisé à 100Mo par sauvegarde sans modification.

étant donné mon rythme moins élevé que le tien ( 1 par jour) cela me satisfait pleinement.

au final après le suppression de tous les attributs lecture seule et la desactivation avec suppression des ACL windows cela semble fonctionner relativement normalement.

Merci SAMU

a côté de cela tu as scripté une sauvegarde ave robocopy qui te fait de l'incrémentale et utilise les hardlink c'est bien ça ?

[SAMU]

Robocopy ne crée pas de hard Links (d’ailleurs on perdrait, comme avec TimeBackup, l’espace occupé par les répertoires). Pour le reste, si tu sais programmer (en batch par exemple), c'est d'une souplesse absolue. En contrepartie, les paramètres sont si nombreux et si mal documentés que cela demande du temps pour obtenir finement ce que tu veux.

Même s'il existe une semi-interface Windows (chez SysInternal, il me semble), Robocopy n'a d'intérêt qu'en ligne de commande (Dos), enrichie de programmation complémentaire (script ou autre).

.

Modifié le 27 juillet 2013 par SAMU

[Cygnus]

Bonjour à tous,

suis peut etre hors sujet mais je pense que la facon dont vous sauvegardez correspond a peu pres a ce que je veux faire.

Voici ma situation :

J'ai un PC avec un jeu de repertoires a sauvegarder. La volumétrie des fichiers est importante (environ 5 Go repartis sur 5000 fichiers) et surtout, les modifications sont quotidiennes sur ces fichiers.

Le but est de garder plusieurs versions du jeu de données sur une base quotidienne pour pouvoir la restaurer au besoin. j'ai egalement pris un deuxieme nas pour synchroniser les données sur 2 sites.

Le probleme c'est que je ne sais pas concretement quelle est la facon optimale pour transferer mon jeu de données sur le nas local.

J'ai 2 options :

• Faire un petit script windows qui copierait mes donnees dans un repertoire, le zipperait, le renommerait avec la date du jour et l'enverrait ensuite sur le nas et ensuite dupliquer les données du repertoire de sauvegarde du nas avec celui du nas distant.
• utiliser un outil de type time backup pour faire une copie de mes repertoires, mais dans ce cas j'ai quelques doutes sur le fonctionnement car je cherche a avoir l'instantané d'un jeu de données et pas de fichiers en particulier

Toute aide est la bienvenue pour ceux qui ont eu la meme problematique que moi.

Merci d'avance

[SAMU]

Faire un petit script Windows qui copierait mes données dans un répertoire, le zipperait, le renommerait avec la date du jour et l'enverrait ensuite sur le nas et ensuite dupliquer les données du répertoire de sauvegarde du nas avec celui du nas distant

Pourquoi zipper en 1 seul fichier (il y a tellement plus de chance d'avoir une déconnexion sur un grand fichier et d'avoir à TOUT re-transférer).

utiliser un outil de type time backup pour faire une copie de mes répertoires, mais dans ce cas j'ai quelques doutes sur le fonctionnement car je cherche à avoir l'instantané d'un jeu de données et pas de fichiers en particulier

TimeBackup crée d'abord un "instantané" avant d'en transférer les fichiers.

P.S.
Je te signale que la sauvegarde Windows (pas celle qui fait de l'image disque) crée des fichiers zippés.

[Cygnus]

Faire un petit script Windows qui copierait mes données dans un répertoire, le zipperait, le renommerait avec la date du jour et l'enverrait ensuite sur le nas et ensuite dupliquer les données du répertoire de sauvegarde du nas avec celui du nas distant

Pourquoi zipper en 1 seul fichier (il y a tellement plus de chance d'avoir une déconnexion sur un grand fichier et d'avoir à TOUT re-transférer).

utiliser un outil de type time backup pour faire une copie de mes répertoires, mais dans ce cas j'ai quelques doutes sur le fonctionnement car je cherche à avoir l'instantané d'un jeu de données et pas de fichiers en particulier

TimeBackup crée d'abord un "instantané" avant d'en transférer les fichiers.

P.S.

Je te signale que la sauvegarde Windows (pas celle qui fait de l'image disque) crée des fichiers zippés.

Merci beaucoup pour ta reponse

En fait je suis vraiment novice, je ne comprends pas bien le fonctionnement.

Time backup permet de revenir a une version precedente d'un jeu de données ou d'un fichiers en particulier ? Dans le cas ou il y a suppression ca changerait tout.

Que dois-je faire pour sauvegarder les donnees de mon pc vers le nas ? utiliser rlink ou y a un soft plus intuitif ?