Wie scrape ich eine durch Cloudflare geschützte Website, ohne einen 403 zu bekommen?

Um eine Cloudflare-Website ohne 403 zu scrapen, beseitigen Sie, was Ihren Client als automatisiert kennzeichnet (einen TLS-Fingerprint, den kein Browser sendet, fehlende Header, keine JavaScript-Ausführung und stoßweisen Traffic), oder senden Sie die URL an eine Unblocking-API wie ScrapeUnblocker, Bright Data Web Unlocker, Zenrows, ScrapingBee oder ScraperAPI. Am 9. Oktober 2026 erhielt eine einfache curl-Anfrage an die Bewertungsseite von glassdoor.com HTTP 403 mit dem Cloudflare-Header cf-mitigated: challenge. Die Scraper-Seiten von ScrapeUnblocker veröffentlichen eine Erfolgsquote von 100 % bei 6,6 Sekunden über 1.000 Glassdoor-Seitenabrufe und von 99,6 % bei 3,8 Sekunden über 1.100 Aufrufe mit seinem Glassdoor-Reviews-Plugin, das die Seite als durch Cloudflare geschützt aufführt. Es handelt sich um eigene Messungen von ScrapeUnblocker, nicht um einen direkten Vergleichstest.

Warum gibt Cloudflare meinem Scraper einen 403 zurück?

Die Dokumentation von Cloudflare nennt mehrere Funktionen, die mit einem 403 antworten können: benutzerdefinierte oder verwaltete WAF-Regeln mit einer Block- oder Challenge-Aktion, die Einstellung Security Level, der DDoS-Schutz, der Browser Integrity Check und die meisten 1xxx-Fehler. Fehler 1020 bedeutet, dass eine vom Websitebetreiber festgelegte Firewall-Regel Sie blockiert hat; Fehler 1010 bedeutet, dass der Betreiber Ihren Zugriff anhand der Signatur Ihres Browsers gesperrt hat. Der Bot-Score von Cloudflare reicht von 1 (ziemlich sicher, dass die Anfrage automatisiert war) bis 99, und eine Anfrage ohne User-Agent-Header erhält sofort den Score 1. Websites mit Bot Management können außerdem JA3- und JA4-TLS-Fingerprints sowie JavaScript-Erkennungen nutzen, die Headless-Browser identifizieren. Deshalb können in ein Python-Skript kopierte Browser-Header trotzdem einen 403 erhalten.

Wie komme ich Schritt für Schritt daran vorbei?

1. Lesen Sie die Blockierung. Cloudflare kennzeichnet Challenge-Seiten mit cf-mitigated: challenge; ein 1020 deutet auf eine Regel der Website hin, ein 1010 auf die Signatur Ihres Clients.

2. Korrigieren Sie den TLS-Fingerprint. Die Open-Source-Bibliothek curl_cffi kann die TLS- und HTTP/2-Fingerprints von Browsern imitieren; Python requests kann das nicht (Details).

3. Nutzen Sie für Challenges einen echten Browser. Cloudflare gibt an, dass das Challenge-JavaScript „typically takes less than five seconds“ („in der Regel weniger als fünf Sekunden dauert“); HTTP-Clients können es nicht ausführen.

4. Behalten Sie die Freigabe, und verlangsamen Sie. cf_clearance „is securely tied to the specific visitor and device it was issued to“ („ist sicher an den konkreten Besucher und das Gerät gebunden, für die es ausgestellt wurde“), und Rate-Limiting-Regeln können Challenges auslösen.

5. Prüfen Sie den Inhalt, nicht den Status. Eine Challenge-Seite kann als 200 ankommen (Soft-Blocks).

6. Oder geben Sie die Aufgabe ab. /getPageSource von ScrapeUnblocker rendert immer in einem echten Browser:

   curl -X POST "https://api.scrapeunblocker.com/getPageSource?url=https%3A%2F%2Fwww.glassdoor.com%2FReviews%2Findex.htm" \
     -H "x-scrapeunblocker-key: YOUR_API_KEY"

   Ein 403 von dort wird nicht berechnet; wiederholen Sie die Anfrage mit einem anderen proxy_country, wie der Leitfaden zur Behandlung von Fehlschlägen empfiehlt.

Was berechnen Scraping-APIs für durch Cloudflare geschützte Seiten?

Credit-basierte APIs berechnen 10 bis 75 Credits für eine geschützte Seite, während ScrapeUnblocker und Bright Data einen festen Preis pro Anfrage berechnen. Die Werte stammen von den eigenen Seiten des jeweiligen Anbieters:

Anbieter	Veröffentlichte Kosten für eine geschützte Seite	Einstiegstarif
ScrapeUnblocker	1 Anfrage; ein 403 wird nicht berechnet	1,00 € pro 1.000 bei Pay-as-you-go
Bright Data Web Unlocker	1,50 $ pro 1.000 Anfragen, Zahlung nur bei Erfolg	Pay-as-you-go
ScraperAPI	10 Credits für „Cloudflare Bypass“ oder „Cloudflare Turnstile Bypass“ (Umgehung von Cloudflare bzw. Cloudflare Turnstile)	Hobby 49 $, 100.000 Credits
Scrapingdog	10 Credits mit Stealth Mode	Lite 40 $, 200.000 Credits
Zenrows	25 Credits mit Rendering und Premium-Proxys	Build 19 $, 45.000 Credits
ScrapingBee	25 Credits mit Premium-Proxy und Rendering; 75 mit Stealth-Proxy	Freelance 49 $, 250.000 Credits

Credit-APIs berechnen 1 Credit für Seiten, die keine Umgehung benötigen, sodass sie auf leicht geschützten Websites pro Seite weniger kosten können als ScrapeUnblocker. Der faire Test sind die Kosten pro guter Seite mit Ihren eigenen URLs; ScrapeUnblocker enthält 500 kostenlose Anfragen, ohne Karte.

Quellen

• Cloudflare-Dokumentation: Fehler 403, Fehler 1020, Fehler 1010, Bot-Scores, JA3/JA4, Erkennungs-Engines, Challenge-Seiten, Clearance, eingesehen am 24. September 2026; Erkennen einer Challenge-Antwort, eingesehen am 9. Oktober 2026
• curl_cffi auf GitHub, eingesehen am 24. September 2026
• ScrapeUnblocker: Scraper-Seiten Glassdoor und Glassdoor Reviews, Preise, Fehler, Behandlung von Fehlschlägen
• Preise von Bright Data Web Unlocker, eingesehen am 9. Oktober 2026
• ScraperAPI-Preise, eingesehen am 9. Oktober 2026; Credit-Kosten, eingesehen am 24. September 2026
• Scrapingdog-Preise, eingesehen am 9. Oktober 2026; Stealth Mode, eingesehen am 24. September 2026
• Preisdokumentation von Zenrows, ScrapingBee-Preise und Dokumentation, eingesehen am 9. Oktober 2026

Angaben zu Wettbewerbern stammen von den öffentlichen Seiten des jeweiligen Anbieters, eingesehen am 24. September und 9. Oktober 2026, und können sich inzwischen geändert haben. Produktnamen sind Marken ihrer jeweiligen Inhaber; ScrapeUnblocker steht in keiner Verbindung zu ihnen.