La Couronne de Cuivre

Question plutôt à l attention de ceux qui gèrent des sites.
cloudfare est-il une bonne option pour limiter le crawl de bots malveillants ?
Efficacité ? facilité d'utilisation ? Compatible avec RGPD ?
D'avance merci

Je ne l’ai jamais testé de cette manière, pour une raison relativement simple : c’est un système qu’on pourrait qualifier de mafieux, avec Cloudflare qui héberge une bonne partie des bots faisant tomber les sites… et vendant la "protection" contre ceux-ci. Accepter leur racket c’est récompenser ces méthodes, ce serait tout à fait incompatible avec mon éthique.

(pour la compatibilité avec le RGPD : c’est impossible à obtenir en passant par un service contrôlé par les USA aujourd’hui)

Tu veux dire qu'ils vendent l'échelle et le mur ?

C’est exactement ça

Ce qui fait que pour limiter le crawl malveillant, j’ai tout simplement bloqué (entre autres) les IPs de Cloudflare.

j'ai été repompé un peu sur votre robots.txt (notamment sur ce qui concerne plus spécialement les IA), ça m'a déjà diminué le traffic de 85 %, on dirait....

Rien que rejeter les bots d’Anthropic (Claude), ça devrait alléger très fortement le trafic.

Chez moi c’était pas compliqué : avant le blocage massif, plus de 99,99 % du trafic venait des robots pilleurs des vendeurs d’IA. Au point de souvent empêcher le trafic légitime.