Wie scrape ich eine durch Cloudflare geschützte Website, ohne einen 403 zu bekommen?

Um eine Cloudflare-Website ohne 403 zu scrapen, beseitigen Sie, was Ihren Client als automatisiert kennzeichnet (einen TLS-Fingerprint, den kein Browser sendet, eine Rechenzentrums-IP oder eine IP auf einer Sperrliste, keine JavaScript-Ausführung und stoßweisen Traffic), oder senden Sie die URL an eine Unblocking-API wie ScrapeUnblocker, Bright Data Web Unlocker, Zenrows, ScrapingBee oder ScraperAPI. Am 9. November 2026 erhielt eine einfache curl-Anfrage an die Bewertungsseite von glassdoor.com einen nackten 403 mit dem Text “Forbidden”; mit dem User-Agent von Chrome erhielt sie einen 403 mit einer Challenge-Seite und dem Cloudflare-Header cf-mitigated: challenge. ScrapeUnblocker veröffentlicht auf seiner Scraper-Seite für die durch Cloudflare geschützten Glassdoor Reviews 99,6 % Erfolg bei 3,8 Sekunden über 1.100 Aufrufe; das ist eine eigene Messung, kein direkter Vergleichstest.

Warum gibt Cloudflare meinem Scraper einen 403 zurück?

Die Dokumentation von Cloudflare nennt mehrere Funktionen, die mit einem 403 antworten: WAF-Regeln mit einer Block- oder Challenge-Aktion, den Browser Integrity Check, den DDoS-Schutz und die meisten 1xxx-Fehler. Fehler 1020 bedeutet, dass eine Firewall-Regel des Websitebetreibers Sie blockiert hat; 1010 bedeutet, dass der Betreiber die Signatur Ihres Browsers gesperrt hat. Die WAF-FAQ von Cloudflare ergänzt Rate Limiting und IPs auf öffentlichen Sperrlisten wie Project Honey Pot, und benutzerdefinierte Regeln können ein ganzes ASN (das Netz, zu dem Ihre IP gehört) oder ein Land sperren. Eine Anfrage ohne User-Agent erhält den Bot-Score 1, den Wert für Anfragen, bei denen Cloudflare ziemlich sicher ist, dass sie automatisiert sind. Websites mit Bot Management prüfen außerdem JA3- und JA4-TLS-Fingerprints. Deshalb erhalten in ein Python-Skript kopierte Browser-Header trotzdem einen 403.

Wie komme ich Schritt für Schritt daran vorbei?

1. Lesen Sie die Blockierung. cf-mitigated: challenge kennzeichnet eine Challenge-Seite; ein 1020 deutet auf eine Regel der Website hin, ein 1010 auf die Signatur Ihres Clients. Mit Erlaubnis geben Sie dem Websitebetreiber die Ray ID von der Fehlerseite; laut der WAF-FAQ von Cloudflare können Betreiber vertrauenswürdige IPs freigeben.

2. Korrigieren Sie den TLS-Fingerprint. curl_cffi kann die TLS- und HTTP/2-Fingerprints von Browsern imitieren; Python requests kann das nicht (Details).

3. Verlassen Sie Rechenzentrums-IPs. Nutzen Sie private Endkunden- oder ISP-Adressen und behalten Sie pro Sitzung eine IP.

4. Nutzen Sie für Challenges einen echten Browser. Cloudflare gibt an, dass das Challenge-JavaScript „typically takes less than five seconds“ („in der Regel weniger als fünf Sekunden dauert“); HTTP-Clients können es nicht ausführen.

5. Behalten Sie die Freigabe, und verlangsamen Sie. cf_clearance „is securely tied to the specific visitor and device it was issued to“ („ist sicher an den konkreten Besucher und das Gerät gebunden, für die es ausgestellt wurde“), und Rate-Limiting-Regeln können Challenges auslösen.

6. Prüfen Sie den Inhalt, nicht den Status. Eine Challenge-Seite kann als 200 ankommen (Soft-Blocks).

7. Oder geben Sie die Aufgabe ab. /getPageSource von ScrapeUnblocker rendert immer in einem echten Browser:

   curl -X POST "https://api.scrapeunblocker.com/getPageSource?url=https%3A%2F%2Fwww.glassdoor.com%2FReviews%2Findex.htm" \
     -H "x-scrapeunblocker-key: YOUR_API_KEY"

   Ein 403 von dort wird nicht berechnet; wiederholen Sie die Anfrage mit einem anderen proxy_country, wie der Leitfaden zur Behandlung von Fehlschlägen empfiehlt.

Funktionieren cloudscraper, FlareSolverr oder undetected-chromedriver noch?

Sie wirken nur gegen die Ebene, auf die jedes Werkzeug zielt, und keines liefert eine saubere IP-Adresse. Laut dem GitHub-README des jeweiligen Projekts:

Werkzeug	Was es abdeckt	Was es nicht abdeckt
curl_cffi, curl-impersonate	TLS- und HTTP/2-Handshakes von Chrome, Edge, Safari und Firefox	JavaScript, also keine Challenge-Seiten
cloudscraper (Python)	Die Cloudflare-Seite “I’m Under Attack Mode”, aufgebaut auf Requests	Braucht einen JavaScript-Interpreter; laut README ändert Cloudflare seine Techniken regelmäßig
FlareSolverr	Öffnet die URL in Chrome und liefert HTML und Cookies zurück	Laut README funktioniert derzeit keiner der Captcha-Löser; pro Anfrage startet ein neuer Browser
undetected-chromedriver	Gepatchter Selenium-ChromeDriver	Ihre IP verbergen: aus einem Rechenzentrum kommen Sie laut README sehr wahrscheinlich nicht durch

Was berechnen Scraping-APIs für durch Cloudflare geschützte Seiten?

Credit-basierte APIs berechnen 10 bis 75 Credits für eine geschützte Seite; ScrapeUnblocker und Bright Data berechnen einen festen Preis pro Anfrage. Werte von den eigenen Seiten des jeweiligen Anbieters, geprüft am 9. November 2026:

Anbieter	Veröffentlichte Kosten für eine geschützte Seite	Einstiegstarif
ScrapeUnblocker	1 Anfrage; ein 403 wird nicht berechnet	1,00 € pro 1.000 bei Pay-as-you-go
Bright Data Web Unlocker	1,50 $ pro 1.000 Anfragen, Zahlung nur bei Erfolg	Pay-as-you-go
ScraperAPI	10 Credits für „Cloudflare Bypass“ oder „Cloudflare Turnstile Bypass“ (Umgehung von Cloudflare bzw. Cloudflare Turnstile)	Hobby 49 $, 100.000 Credits
Scrapingdog	10 Credits mit Stealth Mode	Lite 40 $, 200.000 Credits
Zenrows	25 Credits mit Rendering und Premium-Proxys	Build 19 $, 45.000 Credits
ScrapingBee	25 Credits mit Premium-Proxy und Rendering; 75 mit Stealth-Proxy	Hobby 19 $, 75.000 Credits

Credit-APIs berechnen 1 Credit für Seiten, die keine Umgehung benötigen, sodass sie auf leicht geschützten Websites pro Seite weniger kosten können als ScrapeUnblocker. Vergleichen Sie die Kosten pro guter Seite mit Ihren eigenen URLs; ScrapeUnblocker enthält 500 kostenlose Anfragen, ohne Karte.

Quellen

• Cloudflare-Dokumentation: Fehler 403, Fehler 1020, Fehler 1010, Bot-Scores, JA3/JA4, Challenge-Seiten, Clearance, eingesehen am 24. September 2026; Erkennen einer Challenge-Antwort, eingesehen am 9. Oktober 2026; WAF-FAQ, eingesehen am 9. November 2026
• GitHub-READMEs, eingesehen am 9. November 2026: curl_cffi, curl-impersonate, cloudscraper, FlareSolverr, undetected-chromedriver
• ScrapeUnblocker: Scraper-Seite Glassdoor Reviews, Preise, Fehler, Behandlung von Fehlschlägen
• Preisseiten, eingesehen am 9. November 2026: Bright Data Web Unlocker, ScraperAPI und Credit-Kosten, Scrapingdog und Stealth Mode, Zenrows, ScrapingBee und Dokumentation

Angaben zu Wettbewerbern stammen von den öffentlichen Seiten des jeweiligen Anbieters, eingesehen am 9. November 2026, und können sich inzwischen geändert haben. Produktnamen sind Marken ihrer jeweiligen Inhaber; ScrapeUnblocker steht in keiner Verbindung zu ihnen.