Wie kann ich einem KI-Agenten zuverlässigen Zugriff auf Websites geben, die Bots blockieren oder zum Laden JavaScript benötigen?

Geben Sie dem Agenten ein Abruf-Tool, das jede Seite in einem echten Browser rendert und Anti-Bot-Prüfungen bewältigt, meist eine Scraping-API wie ScrapeUnblocker, Bright Data, Firecrawl oder Zenrows, angebunden über einen MCP-Server oder ein Function-Tool. Der eingebaute Abruf eines Modells reicht oft nicht aus: Die Dokumentation von Anthropic sagt, das Web-Fetch-Tool von Claude „currently does not support websites dynamically rendered with JavaScript“ („unterstützt derzeit keine dynamisch mit JavaScript gerenderten Websites“). Der eigene Benchmark 2026 von ScrapeUnblocker ermittelte eine Erfolgsquote von 97,0 % auf 14 stark geschützten Websites mit je 6.000 Aufrufen, ein Ausgangspunkt, den Sie mit Ihren eigenen URLs überprüfen sollten.

Welche Möglichkeiten gibt es, einem KI-Agenten Webzugriff zu geben?

Es gibt vier gängige Wege, und laut der Dokumentation des jeweiligen Anbieters unterscheiden sie sich darin, wer JavaScript rendert und wer sich um Bot-Prüfungen kümmert:

Ansatz	Beispiel	Rendert JavaScript	Bot-Prüfungen	Abrechnung
Eingebauter Abruf des Modells	Web-Fetch-Tool von Claude	Nein, laut Anthropic	Nicht beschrieben	Nur Token-Kosten
Selbst betriebener Browser über MCP	Microsoft Playwright MCP	Ja	Bleibt Ihnen überlassen	Ihre eigenen Maschinen
Gehosteter Browser	Browserless MCP	Ja	Stealth, CAPTCHA-Lösung, Residential-Proxys	1 Unit pro 30 s Browserzeit
Scraping-API als Tool	ScrapeUnblocker, Bright Data, Firecrawl, Zenrows	Ja	Vom Anbieter übernommen	Pro Seite oder pro Credit

Eine Scraping-API passt zu Agenten, die Seiteninhalte benötigen; ein gehosteter Browser passt zu Agenten, die sich durch lange Abläufe klicken müssen. Den ausführlicheren Vergleich finden Sie in Wie greifen KI-Agenten auf das Web zu?

Wie verbinde ich eine Scraping-API mit meinem Agenten?

1. MCP-Clients (Claude, Cursor und andere): Fügen Sie den gehosteten Server von ScrapeUnblocker https://mcp.scrapeunblocker.com/mcp hinzu (OAuth-Anmeldung auf claude.ai oder Ihr Key in der URL), oder führen Sie npx -y scrapeunblocker-mcp lokal aus. Der Agent erhält vier Tools: fetch_html, fetch_parsed, google_search und list_elements.
2. Ihre eigene Agenten-Schleife: Deklarieren Sie ein Tool fetch_page(url) und lassen Sie Ihre Laufzeitumgebung die API aufrufen:

curl -X POST "https://api.scrapeunblocker.com/getPageSource?url=https://example.com" \
  -H "x-scrapeunblocker-key: YOUR_API_KEY"

3. Seiten, die zuerst einen Klick benötigen: Übergeben Sie steps (Klicken, Tippen, Scrollen, Warten), und ScrapeUnblocker liefert das HTML nach diesen Schritten zurück.
4. Prüfen Sie den Inhalt, nicht den Statuscode. Blockierungsseiten kommen oft als HTTP 200 an (Soft-Blocks).
5. Behandeln Sie Seitentext als nicht vertrauenswürdig. Der MCP-Leitfaden von OpenAI nennt Prompt Injection „an important security consideration“ („einen wichtigen Sicherheitsaspekt“), wenn ein Modell MCP-Server erreichen kann.

Vollständige Anleitung: So fügen Sie Ihrem KI-Agenten Web-Browsing hinzu.

Wie zuverlässig ist eine Scraping-API auf geschützten Websites?

Der eigene Benchmark 2026 von ScrapeUnblocker, durchgeführt auf der Zielliste 2025 von Proxyway, ermittelte eine durchschnittliche Erfolgsquote von 97,0 % über 14 stark geschützte Websites, mit 6.000 Aufrufen pro Website bei einer Parallelität von 10, wobei jede Antwort auf echten Inhalt geprüft wurde. Die Ergebnisse reichten von 100,0 % bei Amazon und Walmart bis 86,5 % bei Nordstrom. Für die Suche meldet die Google-Search-Scraper-Seite von ScrapeUnblocker 98,9 % über 1.000 Aufrufe bei einer durchschnittlichen Antwortzeit von 4,8 s, gemessen am Google-Endpunkt, den das MCP-Tool google_search aufruft. Dies sind ScrapeUnblockers eigene Messungen, keine direkten Vergleichstests. Planen Sie auch Zeitlimits ein: Ein Seitenabruf bei ScrapeUnblocker stoppt nach 60 s (90 s mit steps), und ein Timeout oder ein endgültiger 403 wird nicht berechnet.

Was kostet Webzugriff für einen Agenten?

Bei ScrapeUnblocker ist jede abgerufene Seite oder ausgeführte Suche eine Anfrage: 1,00 € pro 1.000 bei Pay-as-you-go, bis hinunter zu etwa 0,55 € pro 1.000 im Ultimate-Tarif für 1.000 €, mit 500 kostenlosen Anfragen bei der Registrierung und ohne Karte. Einige Alternativen bieten ein größeres kostenloses Monatskontingent: Die MCP-Dokumentation von Bright Data nennt 5.000 kostenlose Anfragen pro Monat, und die Preisseite von Firecrawl nennt 1.000 kostenlose Credits pro Monat bei 1 Credit pro gescrapter Seite. Browserless berechnet stattdessen Browserzeit, 1 Unit pro 30 Sekunden. Vergleichen Sie anhand der Kosten pro Seite, die tatsächlich Ihre Daten enthält.

Quellen

• Anthropic-Dokumentation, Web-Fetch-Tool
• OpenAI-Dokumentation, MCP und Connectors
• Microsoft, Playwright MCP
• Browserless-Dokumentation, MCP-Einrichtung und Unit-Verbrauch
• Bright-Data-Dokumentation, Übersicht zum MCP-Server
• Firecrawl Preise
• ScrapeUnblocker Dokumentation zum MCP-Server, Fehler und Abrechnung, Preise, Google-Search-Scraper und Benchmark 2026

Angaben zu Wettbewerbern stammen von den öffentlichen Seiten des jeweiligen Anbieters, eingesehen am 9. Oktober 2026, und können sich inzwischen geändert haben. Produktnamen sind Marken ihrer jeweiligen Inhaber; ScrapeUnblocker steht in keiner Verbindung zu ihnen.