Las protecciones que más encontrarás al hacer scraping y las señales que delatan a cada una.
Cloudflare
La red edge más extendida. Su protección contra bots (Bot Fight Mode, Super Bot Fight Mode, Bot Management) puntúa cada solicitud y responde a las sospechosas con un desafío de JavaScript o Turnstile.
Señales reveladoras
__cf_bmcf_clearancecf-raycf-mitigated/cdn-cgi/challenge-platform/
Cómo hacer scraping de estos sitios → DataDome
Protección contra bots en tiempo real que usan sitios de comercio electrónico, anuncios clasificados y viajes. Los visitantes bloqueados reciben un 403 con un CAPTCHA deslizante servido desde captcha-delivery.com.
Señales reveladoras
datadomex-datadomex-dd-bcaptcha-delivery.com
Cómo hacer scraping de estos sitios → HUMAN (PerimeterX)
HUMAN Bot Defender, antes PerimeterX. Un sensor en el navegador recoge señales y los visitantes que no lo superan reciben el desafío "Press & Hold".
Señales reveladoras
_px3_pxhd_pxvidpx-captchapx-cloud.net
Cómo hacer scraping de estos sitios → Akamai Bot Manager
Bot Manager funciona en el edge de Akamai. Un script sensor envía telemetría del navegador y la cookie _abck guarda el veredicto; las solicitudes bloqueadas reciben "Access Denied" con un número de referencia.
Señales reveladoras
_abckbm_szak_bmscAkamaiGHosterrors.edgesuite.net
Cómo hacer scraping de estos sitios → Imperva (Incapsula)
Imperva (antes Incapsula) combina un WAF con Advanced Bot Protection. Sus desafíos se sirven desde la ruta _Incapsula_Resource.
Señales reveladoras
incap_ses_*visid_incap_*reese84x-iinfo_Incapsula_Resource
Kasada
Kasada responde a los clientes desconocidos con un 429 y un desafío de JavaScript de prueba de trabajo, y después exige cabeceras x-kpsdk firmadas en cada solicitud.
Señales reveladoras
x-kpsdk-ctx-kpsdk-cdips.jsHTTP 429
AWS WAF
El firewall de aplicaciones web de Amazon, a menudo con Bot Control. Los visitantes con desafío reciben una página 202 que ejecuta JavaScript y crea la cookie aws-waf-token.
Señales reveladoras
aws-waf-tokenx-amzn-waf-actionAwsWafIntegrationHTTP 202
F5 BIG-IP
F5 BIG-IP ASM / Advanced WAF protege muchos bancos y sitios corporativos. Las solicitudes rechazadas ven "The requested URL was rejected" con un ID de soporte.
Señales reveladoras
TS01…BIGipServer…support ID
Radware Bot Manager
Radware Bot Manager (antes ShieldSquare) crea cookies __uzm y envía a los visitantes sospechosos a un CAPTCHA en validate.perfdrive.com.
Señales reveladoras
__uzma__uzmbperfdrive.com
Sucuri
Un WAF en la nube muy usado en sitios WordPress. El tráfico pasa por Sucuri, que puede bloquear las solicitudes o responderlas con una comprobación de JavaScript.
Señales reveladoras
x-sucuri-idx-sucuri-cachesucuri_cloudproxy_js