This site uses cookies! Learn More

Ce site utilise des cookies !

En continuant à utiliser ce site, vous vous engagez à nous permettre de stocker des cookies sur votre ordinateur.

 

Si nous utilisons des cookies et retenons des données anonymes, c’est pour nous aider à mieux gérer notre mesure d’audience, aider nos partenaires commerciaux à nous rémunérer et nos partenaires publicitaires à proposer des annonces qui vous correspondent.

 

Grâce à ces cookies, le forum est en mesure de savoir qui écrit un message et utile pour le système d'authentification.

 

En cliquant sur « J'accepte », vous acceptez l'utilisation par NAS-Forum de cookies publicitaires et de mesure d'audience fine.

Superthx

[TUTO] Automatiser Blacklist depuis internet

Messages recommandés

Il y a 1 heure, Jojo (BE) a dit :

Je vois que ceci est barré. Tu confirmes qu'il n'est plus obligatoire ?

Je confirme
J'avais trouvé cette obligation regrettable, j’ai donc édité le message pour la supprimer.
Si ce fichier n'existe; il est maintenant créé par le script.

ll faudra périodiquement supprimer (ou alléger) les fichiers nom_du_fichier_log et noipv4.txt (si trace demandée).
Ces fichiers ne feront que grossir et rien n'est prévu pour les effacer en automatique.

Partager ce message


Lien à poster
Partager sur d’autres sites

merci pour le retour.

Quand je fais un "copier/coller" du code, il ne veut pas s'exécuter, j'ai dans le lot de l'exécution de la tâche du synode une erreur 127.

Je me demande s'il n'y a pas ça et là des caractères cachés ...

Pourrais-tu mettre ton code en pièce jointe d'un post sous forme d'un fichier .txt ou .sh, ainsi on est sûr.

Merci 

Partager ce message


Lien à poster
Partager sur d’autres sites

C'est un problème du aux différences de retour de lignes entre Windows que vous utilisez probablement (PC) et Linux (NAS).
Vous devriez utiliser Notepad++++ pour éviter ces désagréments
Ci-joint le fichier du script avec une version de plus.

majblocklist.sh

Partager ce message


Lien à poster
Partager sur d’autres sites

zut  alors, là, on nage en plein mystère.
Ma config : MAC et SublimeText.
J'ai download ton fichier sur mon MAC et mis sur le NAS => erreur 127
je l'ai ouvert avec Notepad++ (via //Desktop) => erreur 127
Idem avec TextEdit (MAC) ou Notepad (PC)

Partager ce message


Lien à poster
Partager sur d’autres sites

Le lot???

Et en faisant comme ceci:

Ouvrir Notepad++
Vérifier sous Paramétrage/Préférence avoir

image.png.1e9446e412f8eb30122d931b89eb8e97.png

Sur Nas-Forum
Clic sur la PJ et choisir ouvrir avec NotePad++

Par acquis de conscience revérifier dans  NotePad++
avec Edition/Convertir les sauts de ligne sont bien au format Unix

image.png.d74169c989ba9a03f129b40c97cdc236.png

Enregistrer le fichier dans le NAS

Je ne comprends pas bien quand ces erreurs (127, 128) se produisent.
Au lancement du script?

Partager ce message


Lien à poster
Partager sur d’autres sites
Le 07/08/2019 à 23:14, PPJP a dit :

Liste_Url=("https://lists.blocklist.de/lists/") # espace entre chaque site!

Ok je viens de voir ceci. Si je veux rajouter un site par exemple https://mariushosting.com/wp-content/uploads/2019/08/deny-ip-list.txt

ce sera du type

Liste_Url=("https://lists.blocklist.de/lists/ https://mariushosting.com/wp-content/uploads/2019/08/deny-ip-list.txt") # espace entre chaque site!

?

Partager ce message


Lien à poster
Partager sur d’autres sites

Bonsoir

Je suis désolé mais je suis actuellement très occupé et n'ai donc que peu de temps à consacrer à ce forum.
Vous devrez donc vous contenter d'une réponse succincte et d'une version de script modifiée mais non testée.
Cependant tenez-moi informé si vous rencontrez des problèmes.

Il y a 16 heures, Superthx a dit :

ce sera du type

Liste_Url=("https://lists.blocklist.de/lists/ https://mariushosting.com/wp-content/uploads/2019/08/deny-ip-list.txt") # espace entre chaque site!

Non, le commentaire était trop flou, las adresses doivent être entre guillemets et espacées d'un espace (voir script modifié).

Il faut également que les infos du nouveau site soient correctement extraites (les sites n'indiquent peut-être pas les infos de la façon homogène).
Pour cela il peut être nécessaire de créer un nouveau case (à insérer avant ligne 51).

Dans le cas de vos deux sites la présentation semble identique.
Il suffit donc de corriger 45 pour que les deux sites soient traités

PS
Êtes-vous certain que votre nouvelle adresse soit pérenne?  (adresse comprenant /2019/08/)

majblocklist.sh

Partager ce message


Lien à poster
Partager sur d’autres sites
Il y a 7 heures, PPJP a dit :

Êtes-vous certain que votre nouvelle adresse soit pérenne?  (adresse comprenant /2019/08/)

En effet tu as raison. Mais je garde le script. C'est un bon exemple si l'on veux rajouter les listes perso.

Encore merci.

Partager ce message


Lien à poster
Partager sur d’autres sites

Bonjour,

 

Le 20/08/2019 à 02:47, PPJP a dit :

Je suis désolé mais je suis actuellement très occupé et n'ai donc que peu de temps à consacrer à ce forum.
Vous devrez donc vous contenter d'une réponse succincte et d'une version de script modifiée mais non testée.

Et bien quand on fait des modifs à l’arrache on se plante !

 

Le traitement des deux sites ne pouvait être le même car il y a deux différences.

Le premier utilise le paramètre ‘choix’ et la liste des IP retournées n’avait pas de retour à la ligne en final.

Ce qui n’est pas la cas du second site.

 

Il fallait donc créer un nouveau Case.

Ce que j’ai fait dans le script joint.

J’en ai profité pour mettre le remplacement automatique de /2019/08/ par l’année et le mois courants.

Cela ne fonctionnera probablement pas, car je ne sais pas si ce site gère de cette façon ses listes et de plus il est peu probable que cette modif soit synchro entre le script et le site.

 

Mais cela vous fera un second exemple sur l’utilisation de ce script pour l’ajout d’autres listes.

majblocklist.sh

Partager ce message


Lien à poster
Partager sur d’autres sites

Bonjour @Superthx

Une petite précision sur la dernière version du script.
J'ai remis ce script en fonctionnement en fin Aout pour voir comment se comportait le changement de mois pour la seconde source que vous avez indiqué.
Script lancé à 00H05 avec répétition toutes les deux heures.
Comme prévu le changement d'adresse n'est pas synchro entre le script et le site.
    du 01/09  à 00H05 au 02/09 à 00H05: erreur 404 lors tentative de lecture du site.
    à partir du 02/09 à 02H05 retour à la normal

L'adresse du site a donc été modifiée le 02/09 entre 00H05 et 02H05
Du 01/09 à 00H05 au 02/09 à 00H05 seules les IP fournies par le premier site ont été traitées.

Modifié par PPJP

Partager ce message


Lien à poster
Partager sur d’autres sites

Bonjour,

Merci a l'auteur et aux contributeur de ce tuto.

je l'ai mis en place sur mon routeur, le script fonctionne si je le lance en SSh , mais l’exécution automatique ne fonctionne pas.

Pourtant, J'ai rééditer mon fichier crontab et tout semble ok

Savez vous ou on peut trouver les logs de ce fichier ?

Merci

Partager ce message


Lien à poster
Partager sur d’autres sites

Bonjour,

Merci @Superthx pour le Tuto.

Le 19/09/2019 à 14:46, JrTt a dit :

je l'ai mis en place sur mon routeur, le script fonctionne si je le lance en SSh , mais l’exécution automatique ne fonctionne pas.

Pourtant, J'ai rééditer mon fichier crontab et tout semble ok

En suivant le Tuto pour moi cela fonctionne bien sur SRM (RT2600AC).

Partager ce message


Lien à poster
Partager sur d’autres sites

Bonsoir,
J'ai eu un peu de temps libre ce soir, et suis repassé sur ce post.
Je suis revenu sur la version du script précédemment fournie.
Je vous en livre une nouvelle version qui vous intéressera peut-être?

Les principales évolutions: le script
-- efface  les blocages obsolètes d'IP,
-- s'adapte aux dates variables de changement d'adresse pour le second site fourni par Superthx,
-- traite les IP v6 en plus des IP v4,
-- optimise la vitesse de traitement
      moins de 1mn30 en partant d'une base vide
      moins de 10s pour les mises à jour suivantes.

PS1:
Comme j'ai été obligé de reprendre une grosse partie du code, je me suis posé la question de savoir quelle était la bonne durée de conservation du blocage d'une IP.
J'en suis arrivé à la conclusion que si l'on faisait confiance a des sites pour le blocage; il fallait en faire de meme pour le déblocage.
En conséquence les IP sont maintenant bloquées pour une durée égale à la périodicité de lancement du script ( +1mn de marge).
Il ne faut donc pas oublier d'indiquer celle-ci dans le paramétrage du script.

PS2:
Le script peut commencer en supprimant la totalité les blocages: pour cela lui passer le paramètre "raz"

blacklistupdate.sh

Modifié par PPJP

Partager ce message


Lien à poster
Partager sur d’autres sites
Il y a 16 heures, PPJP a dit :

J'ai eu un peu de temps libre ce soir, et suis repassé sur ce post.

Merci pour tes retours. C'est cool....

J'ai 2 question. J'ai pas tester ton script sur un NAS. Par contre je le test pour un RT2600AC.

  1. J'ai une erreur sur la ligne 14 surement le "\" (je ne sais plus si on en avait déjà parler)
  2. Pour la 2eme url est-ce toujours la même ou bien il change que ce fichier ? (je pense qu'aussi on en avait déjà parler)

Je retourne sur ton script. Je le test plus tard sur le NAS. @+

Partager ce message


Lien à poster
Partager sur d’autres sites
Le 16/10/2019 à 23:59, PPJP a dit :

Les principales évolutions: le script
-- efface  les blocages obsolètes d'IP,
-- s'adapte aux dates variables de changement d'adresse pour le second site fourni par Superthx,
-- traite les IP v6 en plus des IP v4,
-- optimise la vitesse de traitement
      moins de 1mn30 en partant d'une base vide
      moins de 10s pour les mises à jour suivantes.

Je viens de tester pour DSM cel fonctionne trés bien. Bravo pour le script.

Reste plus que l'adapter pour SRM

Partager ce message


Lien à poster
Partager sur d’autres sites

Bonsoir,
Je ne m'attendais pas à des retours si rapidement!!!
Pour ce script, je n'ai pris en compte que DSM.

Il y a 18 heures, Superthx a dit :

Reste plus que l'adapter pour SRM

Donc YAKA!😯

De ce qu'ai vu en première page de ce post, les srm sont basés sous busybox qui est limité (en particulier pour les dates).
Et je n'ai aucun équipement qui l'utilise, donc je ne peux faire aucun test.

Cependant, je pense qu'il est possible, en collaborant, de faire un script commun aux 2 systèmes.

Après une relecture rapide je vois 3 sortes de modif à envisager
 -- traiter la liste des url en tant que liste au lieu de tableau (point 1 d'un de vos messages précédents)
 -- remplacer les curl par des wget?
 -- reprendre tout ce qui concerne des dates.

Pour ce qui concerne ce dernier point pourriez vous tester sous srm le script joint et m'en retourner le résultat?
Merci d'avance

PS
Je n'ai pas compris ceci:

Le 17/10/2019 à 16:09, Superthx a dit :

Pour la 2eme url est-ce toujours la même ou bien il change que ce fichier ?

La lecture pour mariushosting.com se fait de la façon suivante
-- une première lecture en remplaçant dans l'adresse 2018/07 par l'année et le mois en cours.
-- Si erreur (en début de mois le site ne change pas immédiatement l'adresse de sa liste d'IP)
-- une seconde lecture en remplaçant dans l'adresse 2018/07 par l'année et le mois d'une date antérieure 7 jours)

testdsmsrm.sh

Partager ce message


Lien à poster
Partager sur d’autres sites
Il y a 7 heures, PPJP a dit :

De ce qu'ai vu en première page de ce post, les srm sont basés sous busybox qui est limité (en particulier pour les dates).
Et je n'ai aucun équipement qui l'utilise, donc je ne peux faire aucun test.

Je test cela aujourd'hui. Je te donne mon retour.

Il y a 7 heures, PPJP a dit :

La lecture pour mariushosting.com se fait de la façon suivante
-- une première lecture en remplaçant dans l'adresse 2018/07 par l'année et le mois en cours.

OK.

Je reviens @+

UPDATE:

Le script apparement marche. Je donne mon retour.

Dans le terminal j'ai :

SynologyRouter> sh testdsmsrm.sh
Traitement pour lists.blocklist.de
Traitement pour srm de mariushosting.com
url2: https://mariushosting.com/wp-content/uploads/Sat Oct 19 09:58:56 CEST 2019/deny-ip-list.txt
url3: https://mariushosting.com/wp-content/uploads/2019/09/deny-ip-list.txt
SynologyRouter>

Actuellement j'ai 26949 IP.

  1. C'est malin le TypeShell="srm". Si tu peux mettre un if "SRM" ou "DSM" cela permettrai de mettre tout dans un script commun.
  2. Penses tu pouvoir aussi le mettre avec sqlite ? Car en effet le script met longtemps a ajouter les IPs. J'imagine que ce script était pour tester si cela fonctionnait bien.
  3. Est-ce que url2 et url3 sont correct url3: https://mariushosting.com/wp-content/uploads/2019/09/deny-ip-list.txt ? Cela devrai etre 10?

@+

 

 

 

 

Modifié par Superthx
Update date

Partager ce message


Lien à poster
Partager sur d’autres sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Invité
Répondre à ce sujet…

×   Collé en tant que texte enrichi.   Coller en tant que texte brut à la place

  Seulement 75 émoticônes maximum sont autorisées.

×   Votre lien a été automatiquement intégré.   Afficher plutôt comme un lien

×   Votre contenu précédent a été rétabli.   Vider l’éditeur

×   Vous ne pouvez pas directement coller des images. Envoyez-les depuis votre ordinateur ou insérez-les depuis une URL.

Chargement