Performances Hyperbackup

[HommeTranquille]

Bonjour à tous,

J'ai un DS 1513+ et j'effectue des sauvegardes locales (disques USB) avec Hyperbackup.... Comme j'ai changé de disques externes pour augmenter leur capacité, je tente une sauvegarde complète en ayant mis les disques initiaux en sécurité.

Le problème : Les performances sont "lamentables" ... environ 400 Go en une semaine.... A ce rythme, mes 11,5 To vont prendre une éternité....

Y a t"il une alternative à Hyperbackup ou un moyen d'aller plus vite... J'ai même essayer de mettre en service la cache en écriture mais cela ne change rien de visible...

Une question subsidiaire : Existe t'il une log détaillée ? Celle fournie ne concerne que les répertoires partagés mais pas les sous-répertoires ou les fichiers contenus dans ces répertoires, ce qui rend le suivi très approximatif.... (même en cas d'erreur sur un de ces fichiers).

PS : Je pense ne jamais ne mettre aperçu du pb car j'effectuais des sauvegardes journalières, donc peu volumineuses....

PS1 : Je n'utilise pas de compression ou de chiffrement.

PS2 : Ce sont des vidéos ou des fichiers audios pour 90%

PS4: La CPU est à moins de 10%, la RAM à 30% dans 99% des cas...

[gaetan.cambier]

Il y a 5 heures, HommeTranquille a dit :

environ 400 Go en une semaine

en local ?

il y a un très gros problème là : j'ai fait un très gros backup avec HyperBackup ver AmazonCloudDrive et je tournais à + de 450GO / semaine ... mais c'est mon upload qui limitait 

et vu que je suis maintenant à + de 2 TO, c pas la quantité qui le ralenti non plus

 

[HommeTranquille]

Oui, en local - les disques sont attachés en USB au NAS.... Si je fais des opérations sur ces unités à partir du LAN (par exemple, regarder une vidéo sauvegardée ou la transférer sur un poste de travail..) les performances ont l'air correctes.... même avec Hyperbackup actif en parallèle.

7 heures environ après mon message initial, j'ai progressé QUE de 36 go.... ou

-------------------------

Complément : Je me suis aperçu - un peu tard j'en conviens - que je n'utilisais pas les ports USB3 mais les ports USB2... Je n'ai que deux ports USB3 et 4 disques externes, donc j'ai utilisé un mécanisme de HUB (intégré aux disques)... Ce  n'est pas une Ferrari ou une Porsche mais ce n'est plus une Deudeuche... 36 Go en quelques minutes et plus en 7 Heures....

[Filarelenze]

Bonsoir,

Je reprends ce sujet.

Je tente de faire une sauvegarde d'un DS214play sur un DS 212J.

Les 2 nas sont liés non pas en usb mais par RJ 45 réseau interne Livebox.

Les débits sont d'environ 1MB/s.

Hors l'H'yperBackup tout est arrêté sur le DS 212 et peu d’applications tournent sur le 214.

Dans ces conditions il va falloir au moins 15 jours pour terminer cette sauvegarde.

Normal ? Limitation débit en raison de l'appli ou des switch ?

Autre solution ?

 

Merci beaucoup

 

[Tex-Mex]

Bonjour,

 

J'ai pareil. C'est affreusement lent. mais lent...

Deux NAS : DS916+ & DS411j

Ca fait l'escargot à 1M/s aussi.

 

Je pense à :

• la mise en base des informations pour gérer le backup (pas sur du tout)
• éventuellement le fait que ce soit les premiers backup et qu'ensuite cela devrait prendre moins de temps si la gestion est en incrémental (ce que j'ignore pour le moment).

Il y a dans l’interface du centre de paquet un moyen de créer un ticket support. C'est le lien "commentaire." Plus on déclare de ticket plus cela se verra. Même si je ne suis pas un fan de la méthode, il faut bien reconnaître que cela ne bouge pas vite sur cette problématique qui est vécue pareil chez les anglophones.

 

A suivre.

 

[Fenrir]

Entrez l'adresse ip locale du nas et pas un identifiant quickconnect ou un dyndns, ça devrait aller mieux.

Si vous n'avez pas correctement configuré votre réseau, en entrant une adresse DNS vous risquez de, au mieux, passer par le loopback de votre box, au pire, passer par Internet pour revenir sur la box puis le nas.

[Tex-Mex]

Bonjour,

 

Bin en fait ça met l'IP directement en la découvrant (pour mon en tout cas).

Bref je pourrai essayer avec un répertoire de 600 Go plus tard.

Mais bon pour l'instant il semble que ce soit incrémental. Dans le sens de sauvegarder ce qui a bougé (voir copie écran). Le peu de changement que je fais sur les sources actuellement produit les faibles temps de traitement apparemment (voir PJ).

 

[Fenrir]

Si tu as activé le chiffrement de la sauvegarde et/ou du transfert, essaye sans.

Tu peux aussi tester en mode copie de fichier distante (ou un truc du genre, je n'ai plus le nom en tête), c'est dans les différents mode d'HyperBackup.

[Tex-Mex]

Le 12/06/2017 à 21:07, Fenrir a dit :

Si tu as activé le chiffrement de la sauvegarde et/ou du transfert, essaye sans.

Tu peux aussi tester en mode copie de fichier distante (ou un truc du genre, je n'ai plus le nom en tête), c'est dans les différents mode d'HyperBackup.

Hé bé c'est pas gagné. La seule chose activée est la compression. Mes précédents tests avec ou sans compression ne montraient pas de différence dans la vitesse de copie. Pas trouvé le mode copie de fichier distante dans HyperBackup.

Bien que ce soit incrémental le rendement reste à 1Mo/s (voir image). Donc pour tout mégaoctet ajouté c'est 1 seconde de backup.

Ca pose un sacré problème d'exploitation. Si on part dans la photo; c'est entre 20 et 40 Mo les fichiers Raw... pour peu qu'on fasse une 100aine de photo il faut 100 x 40 Mo = 4000 Mo soit un peu plus d'une heure. Si on a 0.6To à backuper ... ouch.

 

Il apparaît que de faire un Hping sur le 6281 (de tête) avec un intervalle plus court que 45 microsecondes ça fait du packet loss. Mais bon rien d'alarmant en terme de réseau.

Je pense plutôt que c'est l'applicatif qui rame à faire toutes les modifications dans l'indexation. C'est en soit compréhensible quand on reste dans des performances relativement hautes qui rendent la chose discrète.

On est pas dans ce cas. Ca se voit et c'est même un problème à gérer.

 

[Fenrir]

Tu perds l'avantage de la dé-duplication et de la compression, donc ça prend plus de place, mais comme il y a moins de traitement, ça peut aller plus vite.

La sauvegarde c'est toujours un équilibre entre temps et volumétrie :

• s'il n'y a pas de traitement mais qu'il y a bcp de données à transférer c'est la vitesse du réseau qui compte donc le débit peut être élevé, par contre l'espace disque consommé est important
• s'il y a bcp de traitement et bcp de données à transférer, c'est plus lent mais il y a moins de données à transférer donc c'est moins gênant sur un réseau "lent" et l'espace disque consommé est minimisé
• ...

En final ce qui compte ce n'est pas le débit "visible" de la sauvegarde, mais le temps qu'elle prend et l’espace qu'elle consomme.

Après il y a peut être d'autres problèmes.

[Tex-Mex]

Ha ok du rsync.

Rsync c'est de la synchro de répertoire donc pas d'historisation. Juste une copie conforme. L'ennui c'est que si on supprime un fichier par inadvertance sur la source il sera supprimé de la destination aussi au moment de la synchro. Et comme quand on cherche quelque chose c'est souvent celui d'avant hier...

J'ai pas trouvé de limitation de trafic des utilisateurs ou un autre truc genre firewall.

Bon ca règle pas le problème. C'est assez dommage.

Vivement une version d'HyperBackup qui speed un peu plus. Il y en a grand besoin.

 

 

 

 

 

[Fenrir]

Même si en dessous c'est rsync, il me semble, mais je peux me tromper, que ce mode permet une historisation (moins poussée que le mode par défaut).

Sinon en pure rsync tu peux faire de l'historisation, tu trouveras plein d'exemple sur le net.

[Einsteinium]

J'utilise pas, mais je peux testé pour voir le débit...

Par contre à voir tes screens tu as pas mal de tâches parallèles... tu devrais les lancé une par une, que le gros ce fasse tranquillement à chaque.

[Tex-Mex]

Le 17/06/2017 à 01:02, Einsteinium a dit :

J'utilise pas, mais je peux testé pour voir le débit...

Par contre à voir tes screens tu as pas mal de tâches parallèles... tu devrais les lancé une par une, que le gros ce fasse tranquillement à chaque.

Ca ne change rien. Le Nas les fait les unes après les autres. C'est juste une limite qui est posée du genre "si le dernier backup date de xx alors met en file d'exécution.".

 

[Tex-Mex]

Hello.

Bon bin voila le support Synology n'a pas pu régler le problème. J'ai été bon prince en leur laissant l'accès sur mes NAS et de leur permettre de faire des tests. Ils ont un peu essayé de me balader avec des arguments plutôt limite, mais bon j'ai balayé ça assez vite. Au final j'ai une jolie mention que le support va remonter les problèmes (maintenant documentés) vers les entités compétentes chez Synology.

Il en ressort au final les choses suivantes:

• Les fichiers sont pris en compte 1 par 1, au lieu d'une copie d'un gros paquet et que le receveur fasse le tri ensuite dans son coin.
• L'indexation prend une tonne de temps et c'est ce qui plombe (littéralement) la vitesse moyenne (ce n'est pas la vitesse de transfert!!!)
• Tester le problème chez moi témoigne du fait qu'ils n'ont pas de laboratoire pour faire les tests. Le fait de chercher un quelconque défaut matériel alors qu'il est dit dans le ticket que tout est déjà testé... bref.
• La moyenne en backup nominal avec conservation des versions dans le temps reste à 1Mo/s.
• La moyenne en backup en Rsync a une meilleure moyenne (4Mo/s) mais ça reste lent.
• On a toujours de meilleurs résultats sur la vitesse de transfert en copiant les données avec un PC (NAS1 - PC - NAS2) même si ce n'est pas de l'archivage avec indexation. Dans ce cas les performances suivent.

J'ajoute que le problème d'après ce que je peut lire est présent depuis la version 6.0 du DSM. Donc pas si jeune que cela.

En espérant que le support transmette bien et que la solution logicielle s'améliore vraiment ensuite.

 

Je fais une suggestion en ligne pour enfoncer le clou.

Activer BtrFs sur tous les NAS qui ne sont plus commercialisés (mais encore maintenus) nous enlèverai pas mal de tracas sur le sujet backup / sécurisation des données. Il n'y aucune contrainte technique. Ce n'est que du logiciel. Et puis cela permet de faire vivre le matériel. Même si cela ne rapporte pas directement à Synology (ils préfèrent vendre des NAS tout neuf) c'est un coût de quasiment zéro pour un gain en publicité notable.

Si certain pensent que ce serai bien de démocratiser BtrFs sur les NAS il ne faut pas hésiter à faire une suggestion aussi, c'est ici : https://www.synology.com/form/inquiry/feedback

 

Donc écrivez leur : "Free BtrFs" :)

 

Voila.

[Fenrir]

il y a une heure, Tex-Mex a dit :

L'indexation prend une tonne de temps et c'est ce qui plombe (littéralement) la vitesse moyenne (ce n'est pas la vitesse de transfert!!!)

Tu parles de l'indexation du "nas" ou celle "interne" aux backups

il y a 58 minutes, Tex-Mex a dit :

La moyenne en backup en Rsync a une meilleure moyenne (4Mo/s) mais ça reste lent.

En rsync pure, à la main ?

Chez moi j'utilise "synchro du dossier partagé" et rsync pour tous mes backups, je suis plutôt à 40mo/s

[Tex-Mex]

Il y a 17 heures, Fenrir a dit :

Tu parles de l'indexation du "nas" ou celle "interne" aux backups

Celle que fait le NAS dans le fichier de backup (un xxx.HBK).

Le fait en plus que ce soit du RAID5 et un DS411j (Qui n'est plus tout jeune) ça peut tendre faire ramer.

 

Il y a 17 heures, Fenrir a dit :

En rsync pure, à la main ?

Chez moi j'utilise "synchro du dossier partagé" et rsync pour tous mes backups, je suis plutôt à 40mo/s

C'était une tache programmée faite par le support en HyperBackup. C'était un peu mieux mais pas vraiment concluant.

PS: J'ai des bonnes performance dans les mode d'utilisation normaux (type lecteur monté dans Windows).

 

Bref signez tous la pétition BtrFs (personne n'y perdra).

[uscan]

Un an et demie plus tard voici les performances que je constate entre deux synology sur un réseau local (2 switchs les séparent) : environ 2Mbps sur de petits fichiers et 10Mbps sur les gros.