Les protections que l'on rencontre le plus souvent en scraping, et les signes qui trahissent chacune d'elles.
Cloudflare
Le réseau edge le plus répandu. Sa protection anti-bot (Bot Fight Mode, Super Bot Fight Mode, Bot Management) note chaque requête et répond aux requêtes suspectes par un challenge JavaScript ou Turnstile.
Signes révélateurs
__cf_bmcf_clearancecf-raycf-mitigated/cdn-cgi/challenge-platform/
Comment scraper ces sites → DataDome
Protection anti-bot en temps réel utilisée par les sites d'e-commerce, de petites annonces et de voyage. Les visiteurs bloqués reçoivent un 403 avec un CAPTCHA à curseur servi depuis captcha-delivery.com.
Signes révélateurs
datadomex-datadomex-dd-bcaptcha-delivery.com
Comment scraper ces sites → HUMAN (PerimeterX)
HUMAN Bot Defender, anciennement PerimeterX. Un capteur dans le navigateur collecte des signaux, et les visiteurs qui échouent reçoivent le challenge "Press & Hold".
Signes révélateurs
_px3_pxhd_pxvidpx-captchapx-cloud.net
Comment scraper ces sites → Akamai Bot Manager
Bot Manager tourne sur l'edge d'Akamai. Un script capteur envoie la télémétrie du navigateur et le cookie _abck porte le verdict ; les requêtes bloquées reçoivent "Access Denied" avec un numéro de référence.
Signes révélateurs
_abckbm_szak_bmscAkamaiGHosterrors.edgesuite.net
Comment scraper ces sites → Imperva (Incapsula)
Imperva (anciennement Incapsula) associe un WAF à Advanced Bot Protection. Ses challenges sont servis depuis le chemin _Incapsula_Resource.
Signes révélateurs
incap_ses_*visid_incap_*reese84x-iinfo_Incapsula_Resource
Kasada
Kasada répond aux clients inconnus par un 429 et un challenge JavaScript de preuve de travail, puis exige des en-têtes x-kpsdk signés sur chaque requête suivante.
Signes révélateurs
x-kpsdk-ctx-kpsdk-cdips.jsHTTP 429
AWS WAF
Le pare-feu applicatif web d'Amazon, souvent avec Bot Control. Les visiteurs concernés reçoivent une page 202 qui exécute du JavaScript et pose le cookie aws-waf-token.
Signes révélateurs
aws-waf-tokenx-amzn-waf-actionAwsWafIntegrationHTTP 202
F5 BIG-IP
F5 BIG-IP ASM / Advanced WAF protège de nombreuses banques et sites d'entreprise. Les requêtes rejetées voient "The requested URL was rejected" avec un identifiant de support.
Signes révélateurs
TS01…BIGipServer…support ID
Radware Bot Manager
Radware Bot Manager (anciennement ShieldSquare) pose des cookies __uzm et envoie les visiteurs suspects vers un CAPTCHA sur validate.perfdrive.com.
Signes révélateurs
__uzma__uzmbperfdrive.com
Sucuri
Un WAF cloud apprécié des sites WordPress. Le trafic passe par Sucuri, qui peut bloquer les requêtes ou y répondre par une vérification JavaScript.
Signes révélateurs
x-sucuri-idx-sucuri-cachesucuri_cloudproxy_js