Die Schutzmaßnahmen, denen man beim Scraping am häufigsten begegnet, und die Zeichen, die sie verraten.
Cloudflare
Das verbreitetste Edge-Netzwerk. Sein Bot-Schutz (Bot Fight Mode, Super Bot Fight Mode, Bot Management) bewertet jede Anfrage und beantwortet verdächtige mit einer JavaScript-Challenge oder Turnstile.
Typische Merkmale
__cf_bmcf_clearancecf-raycf-mitigated/cdn-cgi/challenge-platform/
So scrapst du diese Websites → DataDome
Echtzeit-Bot-Schutz für E-Commerce-, Kleinanzeigen- und Reiseseiten. Blockierte Besucher erhalten einen 403 mit einem Slider-CAPTCHA von captcha-delivery.com.
Typische Merkmale
datadomex-datadomex-dd-bcaptcha-delivery.com
So scrapst du diese Websites → HUMAN (PerimeterX)
HUMAN Bot Defender, früher PerimeterX. Ein Sensor im Browser sammelt Signale, und wer durchfällt, bekommt die "Press & Hold"-Challenge.
Typische Merkmale
_px3_pxhd_pxvidpx-captchapx-cloud.net
So scrapst du diese Websites → Akamai Bot Manager
Bot Manager läuft am Edge von Akamai. Ein Sensor-Skript meldet Browser-Telemetrie, das Cookie _abck trägt das Urteil; blockierte Anfragen erhalten "Access Denied" mit einer Referenznummer.
Typische Merkmale
_abckbm_szak_bmscAkamaiGHosterrors.edgesuite.net
So scrapst du diese Websites → Imperva (Incapsula)
Imperva (früher Incapsula) kombiniert eine WAF mit Advanced Bot Protection. Die Challenges kommen über den Pfad _Incapsula_Resource.
Typische Merkmale
incap_ses_*visid_incap_*reese84x-iinfo_Incapsula_Resource
Kasada
Kasada beantwortet unbekannte Clients mit einem 429 und einer Proof-of-Work-JavaScript-Challenge und verlangt danach signierte x-kpsdk-Header bei jeder Anfrage.
Typische Merkmale
x-kpsdk-ctx-kpsdk-cdips.jsHTTP 429
AWS WAF
Die Web Application Firewall von Amazon, oft mit Bot Control. Betroffene Besucher erhalten eine 202-Seite, die JavaScript ausführt und das Cookie aws-waf-token setzt.
Typische Merkmale
aws-waf-tokenx-amzn-waf-actionAwsWafIntegrationHTTP 202
F5 BIG-IP
F5 BIG-IP ASM / Advanced WAF schützt viele Banken und Unternehmensseiten. Abgelehnte Anfragen sehen "The requested URL was rejected" mit einer Support-ID.
Typische Merkmale
TS01…BIGipServer…support ID
Radware Bot Manager
Radware Bot Manager (früher ShieldSquare) setzt __uzm-Cookies und schickt verdächtige Besucher zu einem CAPTCHA auf validate.perfdrive.com.
Typische Merkmale
__uzma__uzmbperfdrive.com
Sucuri
Eine Cloud-WAF, beliebt bei WordPress-Seiten. Der Verkehr läuft über Sucuri, das Anfragen blockieren oder mit einer JavaScript-Prüfung beantworten kann.
Typische Merkmale
x-sucuri-idx-sucuri-cachesucuri_cloudproxy_js