Aller au contenu

[TUTO] Automatiser Blacklist depuis internet


Superthx

Messages recommandés

Bonjour,

Merci a l'auteur et aux contributeur de ce tuto.

je l'ai mis en place sur mon routeur, le script fonctionne si je le lance en SSh , mais l’exécution automatique ne fonctionne pas.

Pourtant, J'ai rééditer mon fichier crontab et tout semble ok

Savez vous ou on peut trouver les logs de ce fichier ?

Merci

Lien vers le commentaire
Partager sur d’autres sites

Bonjour,

Merci @Superthx pour le Tuto.

Le 19/09/2019 à 14:46, JrTt a dit :

je l'ai mis en place sur mon routeur, le script fonctionne si je le lance en SSh , mais l’exécution automatique ne fonctionne pas.

Pourtant, J'ai rééditer mon fichier crontab et tout semble ok

En suivant le Tuto pour moi cela fonctionne bien sur SRM (RT2600AC).

Lien vers le commentaire
Partager sur d’autres sites

  • 4 semaines après...

Merci PPJP et Superthx pour ce merveilleux travail! Je viens de faire tourner le script sur mon NAS, la premiere fois en ssh et ensuite via le planificateur de tâches. 

1er run, résultat :

 

Error: no such table: Tmp

IP dans table Tmp:

 

Demarrage du script ./blacklisttest.sh version v0.5.1:  Wed Oct 23 20:36:54 CEST 2019

Script implanté dans NAS

Horodatage du blocage des IP: 1571855814

29223 IP téléchargées depuis le site lists.blocklist.de

9774 IP téléchargées depuis le site mariushosting.com

Traitement d'une liste de 38472 adresses IP

deblocage_ip

maj_ip_connues

maj_ip_connues_p1

maj_ip_connues_p2

insertion_nouvelles_ip

data pour nouvelles IP

import_nouvelles_ip

insertion_nouvelles_ip_nas

Le blocage de 0 IP a été prolongé

38472 nouvelles IP ont été ajoutées

La liste de blocage mise à jour va bloquer 38472 IP

Fin du script exécuté en 409 secondes

 

Exécution en 10s ensuite via le planificateur de tâches, les dates ont bien été mises à jour et toujours le même nombre d'IP.

Je n'ai par contre pas de retour via le planificateur de tâches...j'ai bien un fichier aniop.txt dans le répertoire où est installé le script mais seul une phrase comme quoi le script à été lancé est indiquée.

J'ai demandé à ce que le résultat soit envoyé par email mais je n'en ai reçu aucun.

Je vais garder à l'oeil le résultat dans la liste des sites bloqués plutôt que de me baser sur un mail.

Merci encore une fois!

Lien vers le commentaire
Partager sur d’autres sites

@PPJP : J'avoue que j'ai été un peu perdu au fil des threads entre le dernier script qui semblait fonctionner uniquement sur le NAS et cette version hybride qui cherche à fonctionner aussi bien sur les NAS que sur les Routeurs Synology. De ce que j'avais compris au sujet du script hybride, c'est que la partie NAS est systématiquement testée par vos soins et ce sont les forumeurs qui testent la partie Routeur. Cette version est pleine de commande écho pour débugger les différentes étapes (ce qui en passant, n'est pas plus mal pour consulter le log) mais de ce que je comprend, les blocages et autres commandes non reconnues ne s'appliquent pas à la partie NAS, elle me semble donc opérationnelle. C'est en tout cas ce que je peux constater chez moi grâce à la création du log (un grand merci au passage, je n'ai pas eu le réflexe du mode commande en ligne pour la création du log dans l'interface et suis un peu gêné maintenant d'avoir demandé cela 😞)

Si ca ne vous dérange pas, je vais suivre les réponses de ce post ainsi que les mises à jour du script...tout en essayant de ne donner que des retours utiles si jamais je constate un problème à l'exécution du script (pour l'instant, encore une fois, cela tourne nickel sur mon NAS).

Lien vers le commentaire
Partager sur d’autres sites

  • 1 mois après...

Bonjour,

un grand merci aux auteurs de ce script, que je viens de mettre en place.

Une fois réglé le problème des saut de lignes dans le fichier, lancement du script, et hop un peu plus de 34000 ip listées dans les bloquées.

J'ai néanmoins 1 problème dont je n'ai pas encore trouvé la source :

Lors de l’exécution du script suivante, j'ai les messages d'erreur suivants :

Le planificateur de tâches à terminé une tâche planifiée.

 

Tâche : BlackList Internet

Heure de début : Sun, 22 Dec 2019 12:55:02 GMT Heure d’arrêt : Sun, 22 Dec 2019 12:55:06 GMT État actuel : 0 (Normal) Sortie standard/erreur :

 

Demarrage du script autoblocksynology.sh v0.0.2: Sun Dec 22 12:55:03 CET 2019

/tmp/autoblock_synology/fichiertemp1:21: INSERT failed: UNIQUE constraint failed: Tmp.IP

/tmp/autoblock_synology/fichiertemp1:54: INSERT failed: UNIQUE constraint failed: Tmp.IP

/tmp/autoblock_synology/fichiertemp1:58: INSERT failed: UNIQUE constraint failed: Tmp.IP

/tmp/autoblock_synology/fichiertemp1:94: INSERT failed: UNIQUE constraint failed: Tmp.IP

/tmp/autoblock_synology/fichiertemp1:96: INSERT failed: UNIQUE constraint failed: Tmp.IP

.....

/tmp/autoblock_synology/fichiertemp1:34358: INSERT failed: UNIQUE constraint failed: Tmp.IP

/tmp/autoblock_synology/fichiertemp1:34675: INSERT failed: UNIQUE constraint failed: Tmp.IP

/tmp/autoblock_synology/fichiertemp1:34782: INSERT failed: UNIQUE constraint failed: Tmp.IP

/tmp/autoblock_synology/fichiertemp1:34791: INSERT failed: UNIQUE constraint failed: Tmp.IP Script terminé

 

Sincères salutations,

Synology DiskStation

 

Si vous avez des idées ou des pistes, ....

Merci

Bruno

 

 

 

Lien vers le commentaire
Partager sur d’autres sites

Rebonjour, (je me réponds partiellement)

tout en guettant le forum, j'ai continué à chercher pourquoi ces messages d'erreur. Pour finalement m’apercevoir qu'ils étaient tout à fait "normaux". Je m'explique :

Question subsidiaire pour être sûr de bien comprendre :

A quoi exactement ce blocage d'adresses IP s'applique t'il ? A quelles applications ? Quel est sa valeur ajoutée par rapport au Pare-Feu ?

Merci

Bruno

Lien vers le commentaire
Partager sur d’autres sites

Bonjour,

Des erreurs ne sont jamais "normales"!

Dans le cas présent, ces erreurs (qui n'existaient pas à l'origine) sont dues à la non suppression des IP en doublon.

Cette suppression était faite par les commandes sort -ufo qui ne fonctionnent plus actuellement (pourquoi???)

Je vous joins une version du script, où cette suppression est faite au sein de SQLite en remplacement de shell.

Cette version est légèrement plus lente que la précédente.

 

Modifié par PPJP
Suppression du fichier
Lien vers le commentaire
Partager sur d’autres sites

Super, Merci @PPJP

je pensais que ce n'étaient que des "warning", précisemment à cause des doublons. Je n'avais pas bien vu que le script était censé éliminer ces doublons avant ...

Merci pour le nouveau script. Je vais le mettre en place rapidement .... peut-être après Noel quand même 🙂

J'en profite pour souhaiter des Joyeuses Fêtes de Noël et de fin d'Année à l'ensemble des membres de ce forum.

Bruno

Lien vers le commentaire
Partager sur d’autres sites

Hello,

bon alors je suis un peu têtu. J'ai cherché à savoir pourquoi la commande sort -ufo $tmp1 $tmp2 $tmp1 ne fonctionnait plus comme escompté dans ce script.

Après de nombreuses tentatives et vérifications, je me suis aperçu que dans le fichier issu de cette commande sort -ufo $tmp1 $tmp2 $tmp1, les doublons toujours existants étaient de la forme :

  • 94.191.68.83
  • 94.191.68.83^M

Je ne sais pas d'où cela vient car au départ, les 2 listes ne semblent pas contenir ce caractères parasites ...

Donc, partant du constat qu'il n'y a aucune raison dans nos listes d'adresses de trouver des caractères autres qu'alphanumériques, j'ai rajouté l'option -d (-d, --dictionary-order  consider only blanks and alphanumeric characters) à la commande sort.

Au final, la commande devient donc : sort -ufdo $tmp1 $tmp2 $tmp1

Et il n'y a plus d'erreur d’exécution du script. Cela semble fonctionner nominalement. 🙂

Ci joint le fichier mis à jour.

Bruno

PS : n'étant pas expert malgré tout (juste têtu), si @PPJP ou quelqu'un d'autre plus expérimenté que moi pouvait faire une petite vérification du bon fonctionnement .... que je ne sois pas passé à côté de quelque chose d'autre .... Merci

autoblocksynology.sh

 

Modifié par bruno78
typo
Lien vers le commentaire
Partager sur d’autres sites

Bonjour,
Ma réponse est tardive mais je ne passe que très irrégulièrement sur ce forum.
Vous avez parfaitement corrigé ce script, qui est bien fonctionnel, au moins sur DSM.
Les ^M (retour chariot) auraient également pu être supprimés par l'option i.
Il reste juste à vérifier cette correction sur SRM, @Superthx pourrait s'en charger.

Pour le dernier script que j'avais posté, je n'avais pas pris le temps de rechercher l'origine des doublons et préféré les traiter au sein de SQLite.
Je l'avais testé de nombreuses fois sans erreur, je viens de le relancer et il comporte maintenant une (seule) erreur.
Je l'efface donc mon post.

J'en profite pour vous joindre une nouvelle version du script (correction d'erreurs, ajout facultatif d'infos sur le traitement, ...)

Je ne suis pas spécialiste des scripts shell que je n'utilise pas pour mes besoins personnels.
Je ne suis intervenu que sur quelques scripts sur ce forum.
Mais comme je suis, comme vous, têtu (mes origines!), dès que j'aurai un peu de temps libre je rechercherai l'origine de l'apparition des retours chariot intempestifs.

Merci pour votre contribution

autoblocksynology.sh

Lien vers le commentaire
Partager sur d’autres sites

  • 1 mois après...

bonjour,

 

Question idiote mais comment purger cette liste j'en ai 400K+ d'ip listees 'permanent' ayant mis zero l'effacement. J'aimerais bien repartir sur des bonnes bases, effacer au bout de 30, mais je ne vois pas comment effacer celles existantes, sauf a la mano 300 par 300, je ne suis pas rendu !.

 

Merci de vos avis

 

Lien vers le commentaire
Partager sur d’autres sites

Bonjour Brennac,

comment ce fait'il que tu en ais autant ?? Quelle est la durée d'expiration des entrées dans ta base ?

J'ai une durée typique de rétention de 2 heures, le script lui tourne toute les heures, et j'ai entre 25000 et 32000 addresses dans la liste en permanence. Stable.

Sinon, oui, il y a surement moyen d'aller taper directement dans la base sqlite3 ..... mais faut être prudent et je ne maitrise pas suffisemment pour te dire comment :-(.

Bruno78

Lien vers le commentaire
Partager sur d’autres sites

Bonjour,
La commande, ci-dessous, en SSH, permet d'effacer la totalité des IP bloquées, mais conserve les IP permises.
sqlite3 /etc/synoautoblock.db "delete from AutoBlockIP where DENY = 1;"

Attention, les IP éventuellement bloquées par le blocage auto suite à des tentatives d'intrusion seront également effacées.

Bonne journée

Lien vers le commentaire
Partager sur d’autres sites

  • 1 mois après...

Bonjour,

C'est @Superthx qui avait exprimé le besoin et qui devait le tester vers mi Janvier.

Mais il n'y a pas eu de retour.

Il n'y a qu'une très faible probabilité qu'il ne soit pas fonctionnel sous SRM.

Et si cela était, cela n’aurait pas d'autres conséquences que des erreurs de script.

Il n'y a donc pas de risque à l’essayer

Si c'était le cas, il serait bien que vous nous informiez du résultat..

Lien vers le commentaire
Partager sur d’autres sites

Bonjour messieurs,

Je vais tester le script cet après-midi.

Je suis en cours de modif dessus car je génère déjà une blocklist à partir de différents sites.

Mon pare-feu étant paramétré pour n’autoriser qu'un nombre limité de pays, ma blocklist est filtrée sur ces mêmes pays.

Je vous tiens au courant sans faute.

Cdt. 

Lien vers le commentaire
Partager sur d’autres sites

Bon j'ai encore quelques retouches à faire.

Comme par exemple autoriser le wget sur ma blocklist, conf reverse proxy nginx à modifier.

Pour le reste tout fonctionne correctement.

image.png.7b7beea8e166548dccb944b2b1cbb46e.png

Super taf messieurs 👌

Cdt.

 

Modifié par Herbs
Lien vers le commentaire
Partager sur d’autres sites

  • 3 semaines après...
Le 25/02/2020 à 18:57, PPJP a dit :

Bonjour,
La commande, ci-dessous, en SSH, permet d'effacer la totalité des IP bloquées, mais conserve les IP permises.
sqlite3 /etc/synoautoblock.db "delete from AutoBlockIP where DENY = 1;"

Attention, les IP éventuellement bloquées par le blocage auto suite à des tentatives d'intrusion seront également effacées.

Bonne journée

merci @PPJPmais cela me donne 
thomas@brenac_server:~$ sqlite3 /etc/synoautoblock.db "delete from AutoBlockIP where DENY = 1;"
Error: unable to open database "/etc/synoautoblock.db": unable to open database file
 

Ais je loupe quelque chose ?

 

Lien vers le commentaire
Partager sur d’autres sites

Bonjour @Brenac

Le 12/05/2020 à 22:40, Brenac a dit :

Ais je loupe quelque chose ?

Oui et NON!

Oui: car cette commande doit être passée en tant que root

          Pour cela sudo -i puis le mot de passe admin (tapé en aveugle)

NON: car j'avais omis de le préciser!!!

Modifié par PPJP
Lien vers le commentaire
Partager sur d’autres sites

Rejoindre la conversation

Vous pouvez publier maintenant et vous inscrire plus tard. Si vous avez un compte, connectez-vous maintenant pour publier avec votre compte.

Invité
Répondre à ce sujet…

×   Collé en tant que texte enrichi.   Coller en tant que texte brut à la place

  Seulement 75 émoticônes maximum sont autorisées.

×   Votre lien a été automatiquement intégré.   Afficher plutôt comme un lien

×   Votre contenu précédent a été rétabli.   Vider l’éditeur

×   Vous ne pouvez pas directement coller des images. Envoyez-les depuis votre ordinateur ou insérez-les depuis une URL.

×
×
  • Créer...

Information importante

Nous avons placé des cookies sur votre appareil pour aider à améliorer ce site. Vous pouvez choisir d’ajuster vos paramètres de cookie, sinon nous supposerons que vous êtes d’accord pour continuer.