Cloudfare et sites internet

[Eleglin]

Question plutôt à l attention de ceux qui gèrent des sites.
cloudfare est-il une bonne option pour limiter le crawl de bots malveillants ?
Efficacité ? facilité d'utilisation ? Compatible avec RGPD ?
D'avance merci

[vv221]

Je ne l’ai jamais testé de cette manière, pour une raison relativement simple : c’est un système qu’on pourrait qualifier de mafieux, avec Cloudflare qui héberge une bonne partie des bots faisant tomber les sites… et vendant la "protection" contre ceux-ci. Accepter leur racket c’est récompenser ces méthodes, ce serait tout à fait incompatible avec mon éthique.

(pour la compatibilité avec le RGPD : c’est impossible à obtenir en passant par un service contrôlé par les USA aujourd’hui)

[Eleglin]

Tu veux dire qu'ils vendent l'échelle et le mur ?

[vv221]

C’est exactement ça

Ce qui fait que pour limiter le crawl malveillant, j’ai tout simplement bloqué (entre autres) les IPs de Cloudflare.

[Eleglin]

j'ai été repompé un peu sur votre robots.txt (notamment sur ce qui concerne plus spécialement les IA), ça m'a déjà diminué le traffic de 85 %, on dirait....

[vv221]

Rien que rejeter les bots d’Anthropic (Claude), ça devrait alléger très fortement le trafic.

Chez moi c’était pas compliqué : avant le blocage massif, plus de 99,99 % du trafic venait des robots pilleurs des vendeurs d’IA. Au point de souvent empêcher le trafic légitime.