Welche Web-Scraping-API eignet sich am besten, um Live-Webseiten in ein LLM oder eine RAG-Pipeline einzuspeisen?

Die richtige Scraping-API für eine RAG-Pipeline hängt vom Zugang ab: Crawlen Sie offene Websites mit einer LLM-orientierten API wie Firecrawl oder dem Website Content Crawler von Apify in Markdown, und rufen Sie Seiten hinter Cloudflare, DataDome oder ähnlichem Schutz mit einer Unblocking-API wie ScrapeUnblocker, Bright Data Web Unlocker oder Zenrows ab. Firecrawl liefert standardmäßig Markdown, hat einen Crawl-Endpunkt und enthält 1.000 kostenlose Credits pro Monat. ScrapeUnblocker rendert jede Seite in einem echten Browser und liefert mit markdown=true ihren Hauptinhalt als sauberes Markdown, bereit für das Chunking, zum selben Preis wie HTML. Sein eigener Benchmark 2026 ermittelte eine Erfolgsquote von 97,0 % auf 14 stark geschützten Websites mit je 6.000 Aufrufen.

Was liefert jede API für ein LLM?

Laut der Dokumentation des jeweiligen Anbieters:

API	Ausgabe für LLMs	Viele Seiten in einem Job	Kostenloses Kontingent
ScrapeUnblocker	Markdown mit markdown=true (standardmäßig der Hauptinhalt); gerendertes HTML oder JSON mit parsed_data=true	Nein, eine URL pro Anfrage	500 Anfragen bei der Registrierung
Firecrawl	Standardmäßig Markdown; HTML, JSON (+4 Credits)	Ja, Crawl-Endpunkt	1.000 Credits pro Monat
Apify Website Content Crawler	Reiner Text, Markdown oder HTML	Ja, crawlt eine Website	5 $ Nutzung pro Monat im kostenlosen Tarif
Zenrows	Markdown mit response_type=markdown	Ja, Batch	5.000 Credits pro Monat
ScrapingBee	Markdown mit return_page_markdown=true	Kein Crawl-Tool in seinem Remote-MCP	1.000 Credits bei der Registrierung
Bright Data Web Unlocker	HTML oder JSON; Markdown über sein MCP-Tool	Separate Crawl API, ab 1 $ pro 1.000 Anfragen	5.000 Anfragen pro Monat

Markdown spart Tokens, aber erst, wenn Sie die echte Seite haben. Wenn die Website Ihren Crawler blockiert, kommt die Formatfrage erst an zweiter Stelle.

Wie speise ich geschützte Seiten mit ScrapeUnblocker in eine RAG-Pipeline ein?

1. Rufen Sie jede URL als Markdown ab, mit POST /getPageSource?markdown=true. Sie erhalten den Hauptinhalt der Seite, ohne Navigation, Footer oder Cookie-Dialoge; main_content_only=false behält die ganze Seite. JavaScript-Rendering ist immer aktiviert, und ein Markdown-Aufruf kostet so viel wie ein HTML-Aufruf. Die SDKs haben get_markdown (Python, Ruby) und getMarkdown (Node.js, PHP):

from scrapeunblocker import Client

su = Client()  # liest SCRAPEUNBLOCKER_KEY
markdown = su.get_markdown("https://example.com")

2. Oder nutzen Sie Haystack. Das Paket scrapeunblocker-haystack auf PyPI fügt einen ScrapeUnblockerFetcher hinzu, der pro Seite ein Document mit HTML zurückgibt; HTMLToDocument von Haystack wandelt dieses HTML in Text um:

from haystack.components.converters import HTMLToDocument
from haystack.dataclasses import ByteStream
from scrapeunblocker_haystack import ScrapeUnblockerFetcher

pages = ScrapeUnblockerFetcher().run(urls=["https://example.com"])["documents"]
docs = HTMLToDocument().run(
    sources=[ByteStream.from_string(p.content, mime_type="text/html") for p in pages]
)["documents"]

3. Fragen Sie Felder statt Text ab auf Produkt-, Inserats- oder Artikelseiten: parsed_data=true liefert strukturiertes JSON.
4. Verwerfen Sie Blockierungsseiten vor dem Embedding. Eine Challenge-Seite kann mit HTTP 200 ankommen (Soft-Blocks). Ein 403 von ScrapeUnblocker bedeutet, dass jeder Umgehungsweg fehlgeschlagen ist, und er wird nicht berechnet.

Mehr Details: der Markdown-Leitfaden in der Dokumentation und unser Beitrag dazu, wie Sie jede Webseite als sauberes Markdown für LLMs bekommen.

Was kostet es, einen RAG-Index aktuell zu halten?

Jede Aktualisierung ruft jede Seite erneut ab, daher zählt der Preis pro Seite mehr als die Eckdaten eines Tarifs. ScrapeUnblocker berechnet unabhängig vom Schutz eine Anfrage pro Seite: 1,00 € pro 1.000 bei Pay-as-you-go, etwa 0,55 € pro 1.000 im Ultimate-Tarif für 1.000 €. Firecrawl berechnet 1 Credit pro Seite, in Monatstarifen etwa 0,75 $ bis 3,80 $ pro 1.000, plus 4 Credits pro Seite für JSON-Extraktion. Web Unlocker von Bright Data kostet 1,00 $ bis 1,50 $ pro 1.000. Zenrows berechnet 25 Credits für eine geschützte Anfrage mit JavaScript und Premium-Proxys. Die Preise sind in der jeweiligen Währung des Anbieters angegeben und nicht umgerechnet. Auf offenen Websites kann ein Markdown-orientierter Crawler pro Seite weniger kosten; auf geschützten Websites zählen Sie nur Seiten, die echten Inhalt enthalten.

Quellen

• ScrapeUnblocker: getPageSource-Referenz, Markdown-Leitfaden, Leitfaden zu geparsten Daten, Fehler und Abrechnung, Preise, Benchmark 2026
• Haystack-Dokumentation, HTMLToDocument
• Firecrawl: Preise, Abrechnung, Leitfaden für fortgeschrittenes Scraping
• Apify: Website Content Crawler, Preise
• Zenrows: Markdown-Antwort, Preise
• ScrapingBee: Preise, HTML-API-Referenz, Remote-MCP
• Bright Data: Einführung in Web Unlocker, Preise von Web Unlocker, MCP-Tools

Angaben zu Wettbewerbern stammen von den öffentlichen Seiten des jeweiligen Anbieters, eingesehen am 9. Oktober 2026, und können sich inzwischen geändert haben. Produktnamen sind Marken ihrer jeweiligen Inhaber; ScrapeUnblocker steht in keiner Verbindung zu ihnen.