Bonjour,

je cherche à sauvegarder mon répertoire /home (d'un portable sous ubuntu) sur mon NAS synology DS209+ii.

J'exécute la commande suivante (192.168.xxx.yyy est l'adresse IP du NAS) :

sudo rsync -av  --stats --progress --partial --del --filter "- .thumbnails/" --filter "- .Trash/" --filter "- *.tmp" --filter "- *.iso" --filter "- lost+found/" --filter "- .cache/" --filter "- cache/" --filter "- CACHE/" --filter "- Cache/" --filter "- .beagle/" --exclude='/.gvfs' /home/username/ root@192.168.xxx.yyy:/volume1/homes/username/backup

Ca marche pendant un certain temps, mais après plusieurs minutes, ça se bloque (plus de progression, plus de trafic réseau) sur un fichier qui ne semble pas particulièrement gros, ni avec un long chemin d'accès. J'ai essayé d'arrêter le processus (ctrl+C) et de le relancer, mais ça rebloque très rapidement :

sending incremental file list

   .xsession-errors

           5993 100%    5.05MB/s    0:00:00 (xfer#1, to-check=1067/1092)

   rsync: open(Examples) failed!!: No such file or directory (2)

   rsync: open(Musique) failed!!: No such file or directory (2)

   .gconf/apps/gnome-screensaver/

   .gconf/apps/gnome-screensaver/%gconf.xml

            456 100%    1.01kB/s    0:00:00 (xfer#2, to-check=1001/4538)

   .gconf/system/networking/connections/1/802-11-wireless-security/

   .gconf/system/networking/connections/1/802-11-wireless-security/%gconf.xml

            262 100%    0.54kB/s    0:00:00 (xfer#3, to-check=1012/4771)

   .gconf/system/networking/connections/1/802-11-wireless/

   .gconf/system/networking/connections/1/802-11-wireless/%gconf.xml

           1784 100%    3.67kB/s    0:00:00 (xfer#4, to-check=1011/4771)

   .gconf/system/networking/connections/1/connection/

   .gconf/system/networking/connections/1/connection/%gconf.xml

            596 100%    1.22kB/s    0:00:00 (xfer#5, to-check=1010/4771)

   .gconfd/

   .gconfd/saved_state

          79912 100%  162.92kB/s    0:00:00 (xfer#6, to-check=1009/4771)

   rsync: open(.googleearth/instance-running-lock) failed!!: No such file or directory (2)

Une recherche google m'a fait vérifier mon paramétrage de MTU ; c'est ok (1500 de paramétré des 2 côtés et même des ping -s 3000 passent dans les 2 sens). J'ai fait d'autres tests 1) rsync en local sur le portable, sur une autre partition => OK

sudo rsync -rptgoDv  --stats --progress --partial --filter "- .thumbnails/" --filter "- .Trash/" --filter "- *.tmp" --filter "- *.iso" --filter "- lost+found/" --filter "- .cache/" --filter "- cache/" --filter "- CACHE/" --filter "- Cache/" --filter "- .beagle/" --exclude='/.gvfs' /home/username/ /media/VistaOS/Users/username/Documents/backup-ubuntu-local

2) rsync en réseau du portable vers un autre PC sous ubuntu => OK

sudo rsync -rptgoDv  --stats --progress --partial --filter "- .thumbnails/" --filter "- .Trash/" --filter "- *.tmp" --filter "- *.iso" --filter "- lost+found/" --filter "- .cache/" --filter "- cache/" --filter "- CACHE/" --filter "- Cache/" --filter "- .beagle/" --exclude='/.gvfs' /home/username/ gerard@192.168.xxx.zzz:/home/username/backup-u6vc

Donc pour moi ça valide la syntaxe de ma commande. Les 2 machines (portable & PC) utilisant la même version de rsync :

rsync --version

   rsync  version 3.0.5  protocol version 30

   Copyright (C) 1996-2008 by Andrew Tridgell, Wayne Davison, and others.

   Web site: http://rsync.samba.org/

   Capabilities:

       64-bit files, 64-bit inums, 32-bit timestamps, 64-bit long ints,

       socketpairs, hardlinks, symlinks, IPv6, batchfiles, inplace,

       append, ACLs, xattrs, iconv, symtimes

Il y a peut-être une piste de ce côté, car sur le NAS c'est une autre version de rsync (3.0.6) et il n'y aurait pas le support des "ACLs" et des "symtimes":

rsync --version

   rsync  version 3.0.6  protocol version 30

   Copyright (C) 1996-2009 by Andrew Tridgell, Wayne Davison, and others.

   Web site: http://rsync.samba.org/

   Capabilities:

       64-bit files, 64-bit inums, 32-bit timestamps, 64-bit long ints,

       socketpairs, hardlinks, symlinks, IPv6, batchfiles, inplace,

       append, no ACLs, xattrs, iconv, no symtimes

Est-ce que ça peut jouer? Qu'en pensez-vous ? pour info, en parallèle j'avais relancé le rsync portable vers NAS et il reste bloqué à ce stade :

.gnome2/

   .gnome2/backgrounds.xml

           1261 100%    1.27kB/s    0:00:00 (xfer#58, to-check=1020/4839)

   .gnome2/accels/gedit

           9245 100%    9.29kB/s    0:00:00 (xfer#59, to-check=1032/4874)

   .gnome2/accels/glines

            963 100%    0.97kB/s    0:00:00 (xfer#60, to-check=1031/4874)

   .gnome2/accels/nautilus

           9758 100%    9.74kB/s    0:00:00 (xfer#61, to-check=1023/4874)

   .gnome2/gedit/

   .gnome2/gedit/gedit-2

             75 100%    0.07kB/s    0:00:00 (xfer#62, to-check=1018/4874)

   .gnome2/panel2.d/default/launchers/

   skipping non-regular file ".googleearth/instance-running-lock"

bonjour

il n'y a pas un s en trop à homes ?

/homes/username/backup et /home/username/backup

 sudo rsync -av  --stats --progress --partial --del --filter "- .thumbnails/" --filter "- .Trash/" --filter "- *.tmp" --filter "- *.iso" --filter "- lost+found/" --filter "- .cache/" --filter "- cache/" --filter "- CACHE/" --filter "- Cache/" --filter "- .beagle/" --exclude='/.gvfs' /home/username/ root@192.168.xxx.yyy:/volume1/home/username/backup

 

je n'ai pas encore fais de test de backup sur le syno via rsync il n'y a pas de répertoire home sur le syno à ma connaissance seul root en a un dans /root fais un test basique pour commencer créer un partage test active ssh sur le syno

sudo rsync -e ssh -avh chemin_local root@ip_du_syno:/volume1/test/backup

il n'y a pas un s en trop à homes ?

/homes/username/backup et /home/username/backup

A priori, je ne pense pas.

En plus de l'utilisateur admin, j'ai créé un utilisateur username.

Quand je me logue par ssh sur le NAS sous admin, je trouve bien un répertoire homes (avec un "s") dans /volume1, mais pas de répertoire home (sans "s").

Ce répertoire "homes" contient des répertoires admin, username et #recycle.

Par contre quand j'utilise "file station" sous

- username , j'ai un répertoire home (sans "s") (qui contient la même chose que /volume1/homes/username

- admin, j'ai un répertoire home (sans "s") (qui contient la même chose que /volume1/homes/admin, mais également le répertoire homes (avec un "s") qui contient les répertoires admin, username et #recycle

Un peu comme si "file station" créait un lien symbolique /volume1/home qui pointerait sur le répertoire physique alloué à chaque utilisateur.

fais un test basique pour commencer

créer un partage test

active ssh sur le syno

   sudo rsync -e ssh -avh chemin_local root@ip_du_syno:/volume1/test/backup

   

j'avais effectivement déjà coché "Activer le service de sauvegarde réseau" dans "Service de sauvegarde réseau" donc j'ai tapé depuis mon portable

  ssh ip_du_syno - l root


  mkdir /volume1/test

  mkdir /volume1/test/backup

  exit

  

ensuite

  sudo rsync -e ssh -avh /home/arq52 root@192.168.0.10:/volume1/test/backup

  

ça fonctionne bien jusqu'à ce que ça se bloque ici, apparemment sur le fichier "registry.i486.bin" :

 ...

 arq52/.googleearth/Cache/icons/kh.google.com_icons_waters64_l.png

 arq52/.googleearth/Cache/icons/kh.google.com_icons_wiki_white.png

 arq52/.googleearth/Cache/icons/kh.google.com_icons_wiki_white_l.png

 arq52/.googleearth/Cache/icons/lock

 arq52/.googleearth/Cache/models/

 arq52/.googleearth/Cache/models/lock

 arq52/.googleearth/Temp/

 arq52/.googleearth/Temp/ge10810/

 arq52/.googleearth/Temp/ge10810/images/

 arq52/.googleearth/Temp/ge5627/

 arq52/.gstreamer-0.10/

 arq52/.gstreamer-0.10/registry.i486.bin

Un ctrl + C donne :

rsync error: unexplained error (code 130) at rsync.c(544) [sender=3.0.5]

pour le s en trop c'est dans ta première ligne de code, ton premier post, c'est un des trucs qui m'ont titillé de suite, puisque pour le reste de tes lignes de codes tu utilisais bien /home/backup

pour le s en trop c'est dans ta première ligne de code, ton premier post, c'est un des trucs qui m'ont titillé de suite, puisque pour le reste de tes lignes de codes tu utilisais bien /home/backup

On dit qu'un dessin vaut toujours mieux qu'un long discours.

File station, logué en admin ; ça me donne ça :

Mon répertoire utilisateur est dans homes (avec un s). C'est pourquoi j'en mets un dans ma commande rsync à la fin :

"...root@ip_du_syno:/volume1/homes/arq52/backup"

Par ailleurs ta commande s'est malheureusement également bloquée avant la fin (cf. post précédent édité).

On dit qu'un dessin vaut toujours mieux qu'un long discours.

File station, logué en admin ; ça me donne ça :

Mon répertoire utilisateur est dans homes (avec un s). C'est pourquoi j'en mets un dans ma commande rsync à la fin :

"...root@ip_du_syno:/volume1/homes/arq52/backup"

Par ailleurs ta commande s'est malheureusement également bloquée avant la fin (cf. post précédent édité).

oui, le home de user est bien /volume1/homes/user

tu fais un rsync sur transport ssh, donc les options rsync du syno n'on rien à voir.

vérifie bien que l'utilsateur utilisé a un shell valide.

que donne sur ton ubuntu un

file le_fichier_qui_bloque

pour les options, c'est rsync -e ssh -av ou -avz pour compresser.

harff

nos posts se sont croisés ou tu as du éditer entre temps

ok pour les répertoires homes et home, je n'utilise pas la fonction (file stations ni backup) pour l'instant, donc ces répertoires n'existent pas chez moi, j'ai un serveur pour cà.

pour ton fichier registry.i486.bin il ne dépasse pas ton quota si la fonction quota est activé sur le syno ?

comme dis dans la syntaxe que je t'avais mis tu as compressé les fichiers, mais à un moment ca bloque......donc à vérifier

j'ai lancé vite fait une requête google sur ton code d'erreur

est tu concerné par cà ?

je n'en sais pas plus

http://www.mail-arch.../msg112687.html

pour ton fichier registry.i486.bin il ne dépasse pas ton quota si la fonction quota est activé sur le syno ?

Je n'utilise pas les quota sur le syno.

comme dis dans la syntaxe que je t'avais mis tu as compressé les fichiers, mais à un moment ca bloque......donc à vérifier

J'ai relancé les commandes suivantes sans ou avec compression (sans suppression préalable du répertoire backup) :

1)

sudo rsync -e ssh -av /home/gerard root@192.168.0.96:/volume1/test/backup

et ça bloque sur un autre répertoire :

arq52/.gstreamer-0.10/

     ^Crsync error: unexplained error (code 130) at rsync.c(544) [sender=3.0.5]

2)

sudo rsync -e ssh -avz /home/gerard root@192.168.0.96:/volume1/test/backup

et ça bloque :

arq52/.gconfd/

    rsync: open(arq52/.googleearth/instance-running-lock) failed!!: No such file or directory (2)

    ^Crsync error: unexplained error (code 130) at rsync.c(544) [sender=3.0.5]

    

j'ai lancé vite fait une requête google sur ton code d'erreur est tu concerné par cà ? je n'en sais pas plus http://www.mail-arch.../msg112687.html

Je ne sais pas. A priori il y est bien question de la même erreur, mais pour ma part je n'utilise pas (à ma connaissance ;-) ) le système de sauvegarde incrémental "dirvish", ni "karmic" (future version d'ubuntu 9.10 the Karmic Koala?) qui y sont cités. Par curiosité, je suis allé voir la ligne 544 du code source rsync.c ; c'est celle avec "exit_cleanup(RERR_SIGNAL);" :

 RETSIGTYPE sig_int(UNUSED(int val))

 {

     /* KLUGE: if the user hits Ctrl-C while ssh is prompting

      * for a password, then our cleanup's sending of a SIGUSR1

      * signal to all our children may kill ssh before it has a

      * chance to restore the tty settings (i.e. turn echo back

      * on).  By sleeping for a short time, ssh gets a bigger

      * chance to do the right thing.  If child processes are

      * not ssh waiting for a password, then this tiny delay

      * shouldn't hurt anything. */

     msleep(400);

     exit_cleanup(RERR_SIGNAL);

 }

 

et pour répondre aux questions du post précédent :

que donne sur ton ubuntu un file le_fichier_qui_bloque

file .gstreamer-0.10/registry.i486.bin

     .gstreamer-0.10/registry.i486.bin: data

tu fais un rsync sur transport ssh, donc les options rsync du syno n'on rien à voir. vérifie bien que l'utilsateur utilisé a un shell valide.

dans la commande on utilise "root" ; il a bien un shell valide, vu qu'un

ssh ip_du_syno -l root

fonctionne très bien.

file .gstreamer-0.10/registry.i486.bin

     .gstreamer-0.10/registry.i486.bin: data

donc pas un fichier spécial.. tu es bien sûr que les fichiers que tu veux copier sont lisibles ? dans la commande on utilise "root" ; il a bien un shell valide, vu qu'un

ssh ip_du_syno -l root

fonctionne très bien.

oui

Pour ton code d'erreur, c'est l'appui sur ctrl-C qui le génère, et pas le transfert que tu as interrompu.

essaie de faire un transfert récursif sans sauvegarder les permissions, pour voir

utilises-tu des acls ? (donne le résultat d'un getfacls * ou au moins sur les fichiers qui bloquent)

tu peux tenter de mettre une sonde (ethereal ou wireshark) pour voir ce qui se passe au niveau réseau, un tailf ou tail -f de /var/log/messages sur le syno

as-tu les mêmes erreurs en copiant autre chose (essaie par exemple un rsync -av /etc root@syno:/rep/de/destination)

que se passe-t-il quand tu n'appuie pas sur ctrl-c ? as-tu attendu assez longtemps ?

voir aussi s'il ne pourrait pas y avoir un problème d'encodage de caractères (utf8 vs iso8859-1)

essaie de faire un transfert récursif sans sauvegarder les permissions, pour voir

J'ai donc essayé

sudo rsync -rv  --stats --progress --partial --del --filter "- .thumbnails/" --filter "- .Trash/" --filter "- *.tmp" --filter "- *.iso" --filter "- lost+found/" --filter "- .cache/" --filter "- cache/" --filter "- CACHE/" --filter "- Cache/" --filter "- .beagle/" --exclude='/.gvfs' /home/username/ root@192.168.xxx.yyy:/volume1/homes/username/backup2

Ca a fonctionné !

Number of files: 11608

   Number of files transferred: 9483

   Total file size: 23423932798 bytes

   Total transferred file size: 23423932048 bytes

   Literal data: 23423932048 bytes

   Matched data: 0 bytes

   File list size: 276489

   File list generation time: 0.096 seconds

   File list transfer time: 0.000 seconds

   Total bytes sent: 23427475608

   Total bytes received: 188493


   sent 23427475608 bytes  received 188493 bytes  8859014.60 bytes/sec

   total size is 23423932798  speedup is 1.00

C'est bien ! Mais comment préserver, sans que ça bloque, les différents attributs des fichiers lors de la sauvegarde (utilisateur, groupe, permissions, dates...) ?

utilises-tu des acls ? (donne le résultat d'un getfacls * ou au moins sur les fichiers qui bloquent)

Non :

getfacl .gstreamer-0.10/registry.i486.bin 

   # file: .gstreamer-0.10/registry.i486.bin

   # owner: arq52

   # group: arq52

   user::rw-

   group::---

   other::---


   getfacl .googleearth/instance-running-lock 

   getfacl: .googleearth/instance-running-lock: Aucun fichier ou dossier de ce type

   

as-tu les mêmes erreurs en copiant autre chose (essaie par exemple un rsync -av /etc root@syno:/rep/de/destination)

J'ai donc essayé

sudo rsync -av  --stats --progress --partial --del /etc root@192.168.xxx.yyy:/volume1/homes/username/backup_etc

Ca va jusqu'au bout, mais apparemment avec quelques erreurs :

Number of files: 2866

   Number of files transferred: 1651

   Total file size: 9444867 bytes

   Total transferred file size: 9415481 bytes

   Literal data: 9415481 bytes

   Matched data: 0 bytes

   File list size: 96923

   File list generation time: 0.001 seconds

   File list transfer time: 0.000 seconds

   Total bytes sent: 9587945

   Total bytes received: 35360


   sent 9587945 bytes  received 35360 bytes  712837.41 bytes/sec

   total size is 9444867  speedup is 0.98

   rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1058) [sender=3.0.5]

Il doit s'agir de pb avec les liens symboliques :

  ...

  rsync: open(etc/update-motd.d/90-updates-available) failed!!: No such file or directory (2)

  etc/update-motd.d/90-updates-available -> /usr/lib/update-notifier/update-motd-updates-available

  rsync: open(etc/update-motd.d/99-reboot-required) failed!!: No such file or directory (2)

  etc/update-motd.d/99-reboot-required -> /usr/lib/update-notifier/update-motd-reboot-required

  etc/update-motd.d/daily/

  rsync: open(etc/update-motd.d/daily/10_release_upgrade) failed!!: No such file or directory (2)

  etc/update-motd.d/daily/10_release_upgrade -> /usr/lib/update-manager/check-new-release

  ...

que se passe-t-il quand tu n'appuie pas sur ctrl-c ? as-tu attendu assez longtemps ?

Il ne se passe rien. Lors de mes premiers essais, j'avais attendu des heures !

voir aussi s'il ne pourrait pas y avoir un problème d'encodage de caractères (utf8 vs iso8859-1)

ok ; mais comment on vérifie ça SVP ?

J'ai donc essayé

sudo rsync -rv  --stats --progress --partial --del --filter "- .thumbnails/" --filter "- .Trash/" --filter "- *.tmp" --filter "- *.iso" --filter "- lost+found/" --filter "- .cache/" --filter "- cache/" --filter "- CACHE/" --filter "- Cache/" --filter "- .beagle/" --exclude='/.gvfs' /home/username/ root@192.168.xxx.yyy:/volume1/homes/username/backup2

Ca a fonctionné ! C'est bien ! Mais comment préserver, sans que ça bloque, les différents attributs des fichiers lors de la sauvegarde (utilisateur, groupe, permissions, dates...) ?

essaie avec l'option -p

getfacl .gstreamer-0.10/registry.i486.bin 

   # file: .gstreamer-0.10/registry.i486.bin

   # owner: arq52

   # group: arq52

   user::rw-

   group::---

   other::---


   getfacl .googleearth/instance-running-lock 

   getfacl: .googleearth/instance-running-lock: Aucun fichier ou dossier de ce type

   

c'est bon

J'ai donc essayé

sudo rsync -av  --stats --progress --partial --del /etc root@192.168.xxx.yyy:/volume1/homes/username/backup_etc

Ca va jusqu'au bout, mais apparemment avec quelques erreurs :

Il doit s'agir de pb avec les liens symboliques :

il y a une option de rsync pour suivreles liens. Je te laisse chercher

Il ne se passe rien. Lors de mes premiers essais, j'avais attendu des heures !

OK

ok ; mais comment on vérifie ça SVP ?

apparemment ce n'est pas là le pb. tu peux le vérifier en essayant de copier le fichier via ssh avec scp ( il faut que tu copies openssh-scp du paquet openssh dans /usr/bin/scp)

essaie avec l'option -p

...

il y a une option de rsync pour suivre les liens. Je te laisse chercher

Ca fonctionne avec les options --verbose --progress --stats --recursive --times --perms --links --group --owner --devices --delete --timeout=600 --partial.

Quand je dit que ça fonctionne, c'est que la commande va à son terme ; mais il subsite le message d'erreur :

rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1058) [sender=3.0.5]

   

Ce qui bloquait ma commande, c'est donc l'option --specials (vu que l'option -a ou --archive est équivalente aux options -rlptgoD et que l'option -D équivaut à "--devices --specials").

Resterait à comprendre pourquoi elle ne fonctionne pas lors du backup sur le NAS, alors qu'elle fonctionne lors du backup sur mon 2ème PC desktop!

Ca fonctionne avec les options --verbose --progress --stats --recursive --times --perms --links --group --owner --devices --delete --timeout=600 --partial.

Quand je dit que ça fonctionne, c'est que la commande va à son terme ; mais il subsite le message d'erreur :

rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1058) [sender=3.0.5]

   

Ce qui bloquait ma commande, c'est donc l'option --specials (vu que l'option -a ou --archive est équivalente aux options -rlptgoD et que l'option -D équivaut à "--devices --specials").

Resterait à comprendre pourquoi elle ne fonctionne pas lors du backup sur le NAS, alors qu'elle fonctionne lors du backup sur mon 2ème PC desktop!

probablement une option de compilation manquante sur le nas

salut

(-p) est connu pour ne pas être pris en compte par les synos, c'est le sujet de quelques discutions sur le fofo, monitoring cacti etc..

sur la bêta non plus, ce ne passe pas