Welche Web-Scraping-APIs berechnen keine fehlgeschlagenen oder blockierten Anfragen?

Die meisten großen Web-Scraping-APIs geben an, fehlgeschlagene oder blockierte Anfragen nicht zu berechnen, darunter ScrapingBee, Zenrows, ScraperAPI, die Web Unlocker API von Bright Data, Scrapfly, Crawlbase, Scrapingdog, Zyte API, Oxylabs Web Unblocker und ScrapeUnblocker. Die Unterschiede liegen in Sonderfällen: einer eigenen 404- oder 410-Seite der Zielseite, einer Domain, die sich nicht auflösen lässt, Timeouts und CAPTCHA-Seiten, die mit HTTP 200 ausgeliefert werden. Firecrawl verfährt bei blockierten Seiten anders: Laut seiner Abrechnungsdokumentation kostet eine mit einem 403 zurückgegebene Seite 1 Credit.

Was berechnet jeder Anbieter laut seiner Dokumentation?

Jeder der folgenden Anbieter gibt an, dass eine vollständig fehlgeschlagene Anfrage kostenlos ist; die Regeln unterscheiden sich beim 404 oder 410 einer Zielseite und bei zurückgegebenen Blockierungsseiten. Die Zeilen fassen die eigenen Seiten des jeweiligen Anbieters zusammen; ScrapeUnblocker veröffentlicht diese Seite.

Anbieter	Blockierte oder fehlgeschlagene Anfrage	Eigener 404 oder 410 der Zielseite	Weitere dokumentierte Regeln
ScrapeUnblocker	Nicht berechnet: 403-Blockierung, Timeout, 523, 429	Berechnet, mit X-Origin-Status zurückgegeben	Berechnet: nicht auflösbare Domain (400), fehlgeschlagene steps-Aktion (422)
ScrapingBee	Nicht berechnet: ein Anti-Bot-403 wird als 500 gemeldet	Berechnet (404 und 410)	transparent_status_code=true berechnet alles unter 500
Zenrows	Fehlgeschlagene oder wiederholte Anfragen nicht berechnet	Berechnet, als erfolgreich gezählt	Nicht auflösbare Domain und Anfragen mit allowed_status_codes berechnet
ScraperAPI	Nicht berechnet nach bis zu 70 s Wiederholungsversuchen	404 berechnet	Anfragen, die Sie vor Ablauf von 70 s abbrechen, werden berechnet
Bright Data Web Unlocker API	Nur erfolgreiche Anfragen berechnet	Auf den geprüften Seiten nicht angegeben	Mit aktivierten Custom Headers & Cookies werden alle Anfragen berechnet
Scrapfly	Fehlgeschlagene Scrapes nicht berechnet	Vom Schutz vor fehlgeschlagenen Scrapes ausgenommen	Nicht auflösbare Domain und Timeout bei langsamer Zielseite berechnet; der Schutz entfällt bei mehr als 30 % fehlgeschlagenem Traffic
Crawlbase	Fehlgeschlagene oder blockierte Anfragen nie berechnet	Berechnet	Eine als 200 ausgelieferte CAPTCHA-Seite wird als 503 gemeldet, nicht berechnet
Scrapingdog	Credits für fehlgeschlagene, blockierte und durch Timeout beendete Anfragen werden zurückgebucht	Auf den geprüften Seiten nicht angegeben	-
Zyte API	Nur erfolgreiche Antworten berechnet	Als erfolgreiche Antwort gezählt	Ratenbegrenzte Antworten kostenlos
Oxylabs Web Unblocker	Nur erfolgreich extrahierte Daten gezählt (pro GB)	Auf den geprüften Seiten nicht angegeben	Blockierte Antworten können dem Support gemeldet werden
Firecrawl	Kein Dokument zurückgegeben, 0 Credits	1 Credit	Eine zurückgegebene 403-Seite kostet 1 Credit

Welche Sonderfälle verändern, was Sie tatsächlich bezahlen?

Vier Sonderfälle machen den Großteil des Unterschieds aus. Tote URLs: ScrapingBee, Zenrows, ScraperAPI, Crawlbase, Zyte API, Firecrawl und ScrapeUnblocker berechnen den 404 einer Zielseite, sodass Listen entfernter Produkte trotzdem Geld kosten. Domains, die sich nicht auflösen lassen: Zenrows, Scrapfly und ScrapeUnblocker berechnen sie. Soft-Blocks: Eine CAPTCHA-Seite kann mit HTTP 200 ankommen; Crawlbase dokumentiert, dass es sie als 503 meldet, und Scrape.do gibt an, dass Sie Credits beim Support zurückfordern können, wenn eine 200-Antwort ungültigen Inhalt hat. Optionen: transparent_status_code von ScrapingBee und Custom Headers & Cookies von Bright Data verändern, was berechnet wird. Jeder Anbieter entscheidet selbst, was als Blockierung zählt, prüfen Sie daher den Inhalt, nicht die Statuscodes (HTTP 200, aber blockiert).

Was berechnet ScrapeUnblocker?

Die Fehlerdokumentation von ScrapeUnblocker kennzeichnet nur wenige Antworten als berechnet: eine ausgelieferte Seite, einen eigenen 404 oder 410 der Zielseite (mit X-Origin-Status), eine eigene 5xx-Seite des Origins (ein 200 mit X-Origin-Status), 400 Hostname cannot be resolved und 422 step_failed. Eine 403-Blockierung, ein 504-Timeout, 523 Origin unreachable, 429, 402 und Fehler auf Seiten von ScrapeUnblocker sind kostenlos. Verzweigen Sie anhand des Headers, damit Sie tote URLs nicht weiter wiederholen:

import requests

r = requests.post(
    "https://api.scrapeunblocker.com/getPageSource",
    params={"url": "https://www.g2.com/"},
    headers={"x-scrapeunblocker-key": "YOUR_API_KEY"},
    timeout=125,
)
if r.status_code in (404, 410) and r.headers.get("X-Origin-Status"):
    print("dead URL: billed, do not retry")
elif r.status_code == 403:
    print("blocked: not billed, retry later")

Der eigene Benchmark 2026 von ScrapeUnblocker ergab im Durchschnitt eine inhaltlich verifizierte Erfolgsquote von 97,0 % über 14 geschützte Zielseiten mit je 6.000 Aufrufen; es handelt sich nicht um einen direkten Vergleichstest. Um Anbieter zu vergleichen, senden Sie eine URL, von der Sie wissen, dass sie einen 404 liefert, eine erfundene Domain und eine schwierige Zielseite über das kostenlose Kontingent jedes Anbieters und lesen Sie die Kosten-Header: Spb-auto-cost (ScrapingBee Auto-Mode), X-Request-Cost (Zenrows), sa-credit-cost (ScraperAPI), X-Scrapfly-Api-Cost (Scrapfly).

Quellen

• ScrapingBee-FAQ und Dokumentation, Preisdokumentation von Zenrows, Credit-Kosten von ScraperAPI, Scrapfly-Abrechnung, Crawlbase-Preise und Dokumentation der Crawling API, Scrapingdog-Preise, Preisdokumentation der Zyte API, Oxylabs Web Unblocker, Firecrawl-Abrechnung, Dokumentation zu Bright Data Web Unlocker und Scrape.do-Preise, eingesehen am 9. Oktober 2026
• Fehlercodes von Zenrows, Fehlerkatalog von Scrapfly und die Regel zu Custom Headers & Cookies von Bright Data (laut ScrapeUnblocker vs. Bright Data), eingesehen am 24. September 2026
• Fehler und Abrechnung bei ScrapeUnblocker und Benchmark 2026

Angaben zu Wettbewerbern stammen von den öffentlichen Seiten des jeweiligen Anbieters, eingesehen zwischen dem 24. September und dem 9. Oktober 2026, und können sich inzwischen geändert haben. Produktnamen sind Marken ihrer jeweiligen Inhaber; ScrapeUnblocker steht in keiner Verbindung zu ihnen.