Configuration Btrfs optimale pour petits fichiers

[Okimi]

Bonjour

Ma société (4 salariés) vient de racheter un DS918+ pour remplacer le DS1511+ (3x WD Red 3To Raid SHR ext4) qui sert de serveur de fichiers pour tout le bureau et notamment pour les données de 2 grosses applications qui manipulent une multitude de petits fichiers.

Je m'occupe de l'installation du nouveau venu et de la migration des données et, pour ne pas interrompre le travail du bureau, j'ai pour l'instant reconfiguré le DS918+ avec un seul disque WD Red de 3To qui sera complété par la suite avec 2 des 3 disques du DS1511+.

J'ai créé un volume SHR en Btrfs et je m'interroge sur 2 options liées à ce système de fichiers pour les dossiers de données des 2 applications afin d'optimiser les accès et transferts de petits fichiers :

1- Activation de la somme de contrôle des données pour l'intégrité avancée des données

2- La compression des données

J'ai lu quelque part (je ne retrouve plus où) que la compression accélérait légèrement le transfert des petits fichiers indexés.

J'ai fait un rapide test en transférant un dossier de 731 Mo composé de 25035 fichiers (moyenne 3Mo/fichier) dont 23293 occupants 46 Mo (moyenne 2 Mo/fichier). Le NAS est en Bond 2x 1 Gbps sans agrégation de lien et le PC en 1x 1 Gbps.

En lecture, comme en écriture, je peux atteindre 87 Mo/s en cours de transfert et le débit s'écroule à environ 500 ko/s en atteignant les petits fichiers.

Lecture depuis DS918+ vers PC Windows 8.1 Pro avec SSD (ntfs) :

dossier compressé sur NAS :  1 min 30 sec

dossier sans intégrité avancée, ni compression : 1 min 33 sec

Ecriture vers DS918+ depuis PC Windows 8.1 Pro avec SSD (ntfs) :

dossier compressé sur NAS :  1 min 47 sec

dossier sans intégrité avancée, ni compression : 1 min 44 sec
 

A titre de comparaison le même dossier met 6 min 42 sec en lecture depuis le DS1511+

 

2ème test avec un dossier de 4.14 Go composé de 25840 fichiers (moyenne 168 Mo/fichier).

Lecture depuis DS918+ vers PC Windows 8.1 Pro avec SSD (ntfs) :

dossier compressé sur NAS :  2 min 41 sec

dossier sans intégrité avancée, ni compression : 2 min 37 sec

Ecriture vers DS918+ depuis PC Windows 8.1 Pro avec SSD (ntfs) :

dossier compressé sur NAS :  2 min 34 sec

dossier sans intégrité avancée, ni compression : 2 min 33 sec

 

Bref l'écart de performance semble dérisoire ce qui m'inciterait à utiliser l'intégrité avancée et même la compression.

Qu'en pensez vous ?

Peut-on encore améliorer la vitesse de transfert en partage CIFS (j'ai activé SMB3 sur le NAS) ?

Un cache SSD peut-il être intéressant dans ce cas ?

 

Merci d'avance pour vos avis

Modifié le 25 octobre 2018 par Okimi
Ajout capture transfert 731 Mo PC vers NAS non compressé

[Okimi]

Personne n'a cherché à optimiser le transfert de petits fichiers ?