Indexation fichiers multimédia, comment ça fonctionne ?

[septeven]

Bonjour,

Mon nouveau syno DS 716+ me sert en grosse partie à stocker mes photos en y accédant via Photo Station.

J'ai quelques questions quant à l'indexation des fichiers multimedias. Comment cela fonctionne t-il, à quelle intervalle se fait-elle, se fait-elle partiellement et automatiquement lors de l'ajout d'un fichier dans le dossier - en l'occurence - photo, etc... ?

Je pose cette question car j'ai un soucis avec un test que je viens de faire. J'ai modifié l'EXIF (précisément l'ajout de données GPS) d'une photo test, celle-ci ayant déja été indéxée, le fichier n'est alors pas ré-indexé ... Je ne trouve aucune solution (si ce n'est peut-être réindexer les fichiers multimedias, mais avec mes 30,000+ photos, ça va encore prendre une éternité, et je ne trouve pas que cela soit une solution pertinente ni viable).

 

De plus, je peux voir parfois "Indexation des fichiers multimedias..." dans le panneau de configuration > Service d'indexation, or aucun processus d'indexation n'est lancé en regardant les processus en cours (ils sont tous en veille, synoindexd et synoindexplugind)... 

 

Enfin, comment indexer et surtout ré-indexer manuellement un fichier ? J'ai trouvé quelques commandes ssh par ci par là sur le web, synoindex -blabla, mais rien n'y fait...

Une idée ? 

* Pour info, mon dossier photo est un mount d'un dossier /volume1/DATA/PHOTOS.

Merci d'avance

[Fenrir]

Le 03/04/2016 at 22:41, septeven a dit :

Comment cela fonctionne t-il

Le syno scan certains dossiers (audio/photo/video et ceux défini) à la recherche de type de fichiers qu'il sait indexer, pour chaque fichier il en extrait les propriétés pour les stocker en base.

nb : il se sert de l'emplacement et du nom du fichier comme clef d'index

Le 03/04/2016 at 22:41, septeven a dit :

à quelle intervalle se fait-elle

à la volée, dès qu'il détecte un changement (ajout/suppression/déplacement d'un fichier/dossier)

Le 03/04/2016 at 22:41, septeven a dit :

se fait-elle partiellement et automatiquement lors de l'ajout d'un fichier dans le dossier

oui

Le 03/04/2016 at 22:41, septeven a dit :

Enfin, comment indexer et surtout ré-indexer manuellement un fichier ? J'ai trouvé quelques commandes ssh par ci par là sur le web, synoindex -blabla, mais rien n'y fait...

Déplace le fichier (dans un autre dossier ou sur ton pc), attend que le syno ait mis à jour son index (quelques secondes normalement, mais ça peut prendre 1 ou 2 minutes parfois) puis remet ton fichier à sa place.

Il devrait être actualisé

Avec certains type de fichiers, un renommage marche aussi.

[septeven]

il y a 1 minute, Fenrir a dit :

Déplace le fichier (dans un autre dossier ou sur ton pc), attend que le syno ait mis à jour son index (quelques secondes normalement, mais ça peut prendre 1 ou 2 minutes parfois) puis remet ton fichier à sa place.

Il devrait être actualisé

Avec certains type de fichiers, un renommage marche aussi.

Merci Fenrir. Pour les photos, le renommage n'a définitivement pas fonctionné - je vais essayer ta méthode, mais sincèrement c'est vraiment du bricolage... pour un ou deux fichiers, ça peut le faire, mais si j'ai besoin de le faire sur un plus gros volume de fichiers... N'y a t-il définitivement pas une solution plus "efficace" ?

[Fenrir]

Ça dépend de la manière dont sont organisés tes fichiers.

Chez moi la modification d'une propriétés relance l'indexation du fichier

Sinon essaye avec la commande (à lancer en root ou avec sudo) : synoindex -R dirpath /chemin/à/réindexer

edit : synoindex -h

Modifié le 4 avril 2016 par Fenrir

[septeven]

il y a 35 minutes, Fenrir a dit :

synoindex -R dirpath /chemin/à/réindexer

C'est ce que j'ai déja essayé, et que je viens de réessayer, en vain...

(synoindex -h ?? tu peux préciser ton edit stp). EDIT. okay, c'est l'aide de synoindex, déja utilisée..., mais ... ?

il y a 35 minutes, Fenrir a dit :

Ça dépend de la manière dont sont organisés tes fichiers.

C'est à dire ? à part le fait que le dossier photo est en fait mon dossier /volume1/DATA/PHOTOS, je vois pas trop quoi te dire de plus...

 

Dans tous les cas, je viens de réessayer, juste d'envoyer un fichier, et rien, il n'apparait pas (pour le moment, la seule solution que j'ai trouvé pour faire apparaitre correctement ce qu'il y a dans mes dossiers, c'est de faire un réindexation via les paramètres de Photo Station, et ça dure des plombes...)... C'est un peu "boring"... :/

Modifié le 4 avril 2016 par septeven

[Kramlech]

Il y a 9 heures, septeven a dit :

C'est à dire ? à part le fait que le dossier photo est en fait mon dossier /volume1/DATA/PHOTOS, je vois pas trop quoi te dire de plus.

Par défaut seulles les données qui se trouvent dans les trois répertoires standard gérés par le DLNA sont indexés (/volume1/music, volume1/photo et volume1/video).

Si tes données ne sont pas dans un de ces répertoires, il faut que tu déclare explicitement les répertoires à indexer dans : Panneau de configuration / Indexation multimédia / Dossier indexé ...

[septeven]

Il y a 6 heures, Kramlech a dit :

Par défaut seulles les données qui se trouvent dans les trois répertoires standard gérés par le DLNA sont indexés (/volume1/music, volume1/photo et volume1/video).

Si tes données ne sont pas dans un de ces répertoires, il faut que tu déclare explicitement les répertoires à indexer dans : Panneau de configuration / Indexation multimédia / Dossier indexé ...

Alors mon dossier /volume1/DATA/PHOTOS = /volume1/photo, suite à un mount -bind... Donc je n'ai pas besoin (à ma connaissance) de le déclarer de la sorte...

Le problème est que l'indexation ne semble pas fonctionner du tout automatiquement, et encore moins en cas de modifications du fichier en lui même (sans changement de place et renommage)...

[Fenrir]

il y a 5 minutes, septeven a dit :

Alors mon dossier /volume1/DATA/PHOTOS = /volume1/photo, suite à un mount -bind... Donc je n'ai pas besoin (à ma connaissance) de le déclarer de la sorte...

Un mount -bind n'a pas exactement les mêmes propriétés qu'un dossier (pour des questions de performance, le système et les applis ne "regardent" pas nécessairement de la même manière qu'un utilisateurs)

Essaye plutôt de déclarer ton dossier comme indiqué par @Kramlech

[septeven]

il y a 5 minutes, Fenrir a dit :

Essaye plutôt de déclarer ton dossier comme indiqué par @Kramlech

Je viens de le rajouter, on croise les doigts.

En attendant, le fait d'avoir ajouter le dossier (/DATA/PHOTOS...) a relancé l'indexation globale et j'avoue en être un peu fatigué - en une semaine ça doit faire la 5e fois qu'il me ré-indexe tout...

[septeven]

Donc après une nouvelle indexation (sic), la technique de @Kramlech a fait évolué la situation, sans régler complètement le problème.

Quand j'ajoute une photo, rien ne se passe, quand je supprime une photo, l'indexation se lance. Qui plus est, elle me laisse une vignette vide à la place de la photo supprimée.... hum ... j'ai fais quelque chose de mal ? :)

Je n'ai pas encore testé la modification d'une photo pour voir si cela execute ou non l'indexation.

EDIT. Pour le moment, j'utilise synoindex en ssh pour ajouter la photo manuellement (synoindex -a filepath), la supprimer sans qu'elle me laisse une vignette vide et corrompue (synoindex -d filepath). Je viens de faire l'essai de remplacer un fichier auquel j'ai modifié l'exif, l'indexation se lance automatiquement, mais il me fait comme dans le cas d'une suppression, il me remplace l'image par une vignette vide et corrompue. Seule solution pour réindexer correctement, vous l'aurez deviné : synoindex -R filepath. 

Bref sans SSH, mon indexation déconne beaucoup ...

Modifié le 5 avril 2016 par septeven

[Fenrir]

Essaye en supprimant tes points de montage.

[septeven]

Il y a 1 heure, Fenrir a dit :

Essaye en supprimant tes points de montage.

Tu veux dire virer mon mount -bind ? Si oui, alors dans un premier temps, je n'envisage pas de me passer de mon dossier personnel monté sur le dossier photo, mais surtout, si je fais ça, je n'aurais plus rien dans photo, et donc pas possible de voir si le problème est réglé, ou alors je n'ai pas compris ce que tu veux me faire faire...

[Fenrir]

Fais au moins le test, actuellement tu n'es pas dans une configuration normale, donc difficile de savoir si c'est un bug ou une limitation.

[septeven]

il y a 1 minute, Fenrir a dit :

Fais au moins le test, actuellement tu n'es pas dans une configuration normale, donc difficile de savoir si c'est un bug ou une limitation.

Je veux bien, mais comme je te dis, si je démonte, le dossier photo sera vide, donc il n'y aura plus rien à indexer...

Au passage, j'ai trouvé ça, c'est au sujet de Audio mais cela revient au même problème, chose inquiétante, ça date de 2013... et le problème semble toujours existé, aléatoirement parlant....

[Kramlech]

 

Il y a 4 heures, Fenrir a dit :

Fais au moins le test, actuellement tu n'es pas dans une configuration normale, donc difficile de savoir si c'est un bug ou une limitation.

+1

Quand on essaie de trouver l'origine d'un problème, il ne faut cibler précisément UN problème, et ne pas empiler las coches de dysfonctionnement potentiels ...

[septeven]

Il y a 6 heures, Kramlech a dit :

+1

Quand on essaie de trouver l'origine d'un problème, il ne faut cibler précisément UN problème, et ne pas empiler las coches de dysfonctionnement potentiels ...

Écoutes, je suis totalement d'accord avec toi, mais comme dit précédemment, si je supprime mes points de montage, je n'ai plus rien dans le dossier /photo, et donc je n'ai plus rien pour tester si le problème est, ou non, réglé.

En attendant, j'ai isolé le dit problème. Les problèmes d'indexation cités ci-dessus avaient lieu quand j'ajoutais, supprimais ou modifiais une photo dans mon dossier /volume1/DATA/PHOTOS/ (qui est donc lui même monté sur /volume1/photo). En essayant d'effectuer directement les ajout/suppression/modification depuis /volume1/photo, plus aucun soucis, l'indexation se fait de manière automatique, fluide et exemptée de tout problème.

Mon soucis maintenant, c'est que j'ai évidemment besoin que cela fonctionne en passant par mon dossier personnel. En effet, mon workflow fonctionne de cette manière :

Un disque externe est branché à l'iMac et se backup (avec ChronoSync) vers le NAS. Ce disque externe respecte une nomenclature des dossiers que j'ai instauré moi-même et qui me convient dans mon espace de travail (je travail à domicile, autant vous dire que mes stockages font partie intégrante de mon workflow professionnel). Dans ces dossiers, il y a donc /DATA/PHOTOS qui est monté sur /photo et /DATA/MUSIQUE qui est monté sur... /music, etc.

Bref, tout me convient, si ce n'est ce problème d'indexation. Pensez-vous qu'il y ait une vraie solution ?

En vrac, j'ai bien pensé à découper mon backup en deux, une synchronisation s'occupe de tout le contenu du disque externe sans le dossier /DATA/PHOTOS, et une autre synchronisation s'occuperait d'envoyer /DATA/PHOTOS directement vers /photo. Mais bon, ça casse quand même un peu en deux la structure initiale de mon backup... Ça ne me plait que moyennement.

Le mieux serait soit d'avoir une véritable solution pour que l'indexation se passe sans encombre sur /DATA/PHOTOS, ou à défaut, un script qui s'execute après que les fichiers aient été envoyés vers /DATA/PHOTOS, script qui reprendrait la liste des fichiers nouvellement ajoutés/supprimés/modifiés et qui s'occuperait d'en faire manuellement l'indexation avec synoindex (de la même manière que je peux le faire via SSH)... Je ne sais pas si un truc pareil est possible cependant...

 

[Fenrir]

il y a 14 minutes, septeven a dit :

Bref, tout me convient, si ce n'est ce problème d'indexation. Pensez-vous qu'il y ait une vraie solution ?

Revoir ton organisation :

• Tu peux par exemple utiliser les dossiers photo et music de ton home (/volume1/homes/login/photo), ils sont indexés comme /volume1/photo et /volume1/music
• Tu peux aussi créer un tache qui déplace régulièrement le contenu de /volume1/data/photo vers /volume1/photo
• Ou tout simplement revoir ton "workflow"

il y a 23 minutes, septeven a dit :

[...] un script qui s'execute après que les fichiers aient été envoyés vers /DATA/PHOTOS, [...] Je ne sais pas si un truc pareil est possible cependant...

C'est tout à fait faisable mais pas très propre

[septeven]

Je vais voir, en cherchant sur le web, il semble que le problème soit reporté par ci par là depuis quelques années déjà. L'indexation se fait mal depuis le dossier source dans le cas d'un montage.

il y a 6 minutes, Fenrir a dit :

• Tu peux par exemple utiliser les dossiers photo et music de ton home (/volume1/homes/login/photo), ils sont indexés comme /volume1/photo et /volume1/music

Ça voudrait dire ne plus utiliser mon dossier initial, et dans ce cas là, il serait plus judicieux d'utiliser directement les dossiers photo, music, etc. 

il y a 6 minutes, Fenrir a dit :

• Tu peux aussi créer un tache qui déplace régulièrement le contenu de /volume1/data/photo vers /volume1/photo

Interessant, mais si on commence à penser tache automatisée, pourquoi ne pas directement automatiser l'indexation avec un script ? De plus, cela reviendrait à décupler le stockage utilisé pour les photos.

il y a 6 minutes, Fenrir a dit :

• Ou tout simplement revoir ton "workflow"

J'exclu le fait de revoir mon workflow, qui vient d'être complètement repensé récemment. Je sais, je suis têtu ;)

il y a 10 minutes, Fenrir a dit :

C'est tout à fait faisable mais pas très propre

Ma première question est de savoir pourquoi cela ne serait pas très propre... ? Ensuite, comment lancer ce script dès que des fichiers sont ajoutés/supprimés/modifiés dans un dossier, il y a t-il un système de event.listener ? Au passage j'ai trouvé ce vieux script de 2010, il s'occuper d'indexer automatiquement les videos, je pensais faire un essai en le modifiant pour les photos...

Merci pour ton suivi !

[Fenrir]

Il y a 3 heures, septeven a dit :

Ça voudrait dire ne plus utiliser mon dossier initial, et dans ce cas là, il serait plus judicieux d'utiliser directement les dossiers photo, music, etc. 

C'était une proposition, te permettant d'avoir ta propre arbo sous ton home

• /homes/<login>/music
• /homes/<login>/photo
• /homes/<login>/documents
• ...

Donc /homes/<login> serait équivalent à /data

Il y a 3 heures, septeven a dit :

Interessant, mais si on commence à penser tache automatisée, pourquoi ne pas directement automatiser l'indexation avec un script ?

Pour la même raison qui me fait dire que ce n'est pas propre (cf plus bas)

Il y a 3 heures, septeven a dit :

De plus, cela reviendrait à décupler le stockage utilisé pour les photos.

Non, j'ai indiqué "déplacer", pas copier, mais çe ne te conviendras pas

Il y a 3 heures, septeven a dit :

Ma première question est de savoir pourquoi cela ne serait pas très propre...

Il vaut souvent mieux utiliser les mécanismes standard (le syno indexent automatiquement certains dossiers), rien ne dit que le syno ne fait pas d'autres actions que de lancer la commande synoindex. C'est aussi plus facile en cas de contact avec le support (ils ont tendance à dire de faire un reset complet dès qu'on change un truc non prévu).

Il y a 3 heures, septeven a dit :

comment lancer ce script dès que des fichiers sont ajoutés/supprimés/modifiés dans un dossier,

Une tache planifiée qui lance un script toutes les X minutes avec :

• find  -ctime/-mtime/..
• une boucle
• la commande de ton choix