Webzugriff für KI-Agenten, auch auf Websites, die Bots blockieren
Agenten scheitern an denselben Seiten wie Scraper: Bot-Prüfungen, Seiten, die nur im Browser laden, und Suchergebnisse, die mehr sind als zehn Links. ScrapeUnblocker liefert deinem Agenten gerenderte Seiten, echte Google-Ergebnisse und fertige Website-Daten, per MCP, SDK oder Workflow-Tool, mit deinem eigenen API-Key.
500 kostenlose Anfragen bei der Anmeldung · keine Karte nötig
Wo Agenten hängen bleiben
Ein großer Teil des Webs ist für Agenten schwer lesbar
Eine Challenge-Seite statt Inhalt
Cloudflare, DataDome, PerimeterX und Akamai beantworten automatisierte Anfragen mit einem 403, einem Captcha oder einer Challenge-Schleife. Der Agent liest die Sperrseite und macht ohne Ergebnis weiter.
Seiten, die ohne Browser leer sind
Preise, Inserate und Bewertungen werden oft per JavaScript geladen. Ein einfacher HTTP-Abruf liefert nur das Seitengerüst ohne sie.
Suchergebnisse ohne das ganze Bild
Was ein Mensch bei Google sieht, enthält Anzeigen und eine AI Overview und hängt vom Land ab. Eine kurze Linkliste lässt das meiste davon weg.
Was dein Agent bekommt
Gebaut für die Seiten, an denen Agenten scheitern
Geschützte Websites
Anfragen laufen durch die Anti-Bot-Behandlung für Cloudflare, DataDome, PerimeterX (HUMAN) und Akamai, JavaScript-Rendering ist in jeder Anfrage enthalten. Unser veröffentlichter Benchmark hat 97,0 % inhaltlich verifizierten Erfolg über 14 geschützte Ziele gemessen. Es ist unsere eigene Messung, kein direkter Vergleichstest.
Zum Benchmark →Echte Suchergebnisse
serpApi liefert die organischen Google-Ergebnisse plus die oberen und unteren Anzeigen und die AI Overview als JSON, gesucht aus dem Land deiner Wahl. Für Bing, DuckDuckGo, Yahoo und Brave gibt es Endpoints mit derselben Antwortstruktur.
Website-Plugins als Tools
Fertiges strukturiertes JSON für Amazon, Walmart, eBay, Google Maps, Google Shopping, YouTube-Transkripte, Zillow, Indeed, Trustpilot, Booking.com und über 100 weitere. Der Agent bekommt Felder, kein HTML zum Parsen.
Scraper ansehen →Live-Seiten
Jeder Aufruf holt die Seite live. Nichts kommt aus einem Cache, und mit proxy_country sieht der Agent die Seite aus einem bestimmten Land.
Du zahlst für gelieferte Seiten
Sperren (403), Timeouts, ein nicht erreichbarer Origin (523), Concurrency-Limits (429) und Fehler auf unserer Seite werden nicht berechnet. Eine gelieferte Seite ist eine Anfrage, JavaScript-Rendering inklusive, und das gilt auch für die eigene 404- oder Fehlerseite einer Website.
Eine kurze Tool-Liste
Der MCP-Server bietet wenige Kern-Tools, die meistgenutzten Website-Plugins als eigene Tools und ein run_plugin-Tool für alles andere. fetch_markdown liest eine Seite als Markdown, meist 2-25% der Größe des HTML, und search_and_read sucht bei Google und liest die ersten Treffer in einem Aufruf. Die Liste bleibt kurz und überlädt den Kontext des Agenten nicht.
Verbinden
Nutze es dort, wo dein Agent schon läuft
Ein Konto und ein Key überall. Ersetze YOUR_API_KEY durch den Key aus deinem Dashboard.
Gehosteter MCP-Server
Für Claude im Web, auf dem Desktop und mobil, Claude Code, Cursor, VS Code und andere MCP-Clients. Melde dich mit deinem ScrapeUnblocker-Konto an (OAuth) oder setze deinen Key in die URL. In ChatGPT fügst du ihn unter Settings → Plugins → Developer mode hinzu, mit dem Key in der URL.
OAuth: https://mcp.scrapeunblocker.com/mcp Key: https://mcp.scrapeunblocker.com/mcp?key=YOUR_API_KEY
Claude Code Plugin
Installiert den MCP-Server, fragt einmal nach deinem Key und speichert ihn im Schlüsselbund des Betriebssystems. Fügt den Befehl /scrape-url und Referenz-Skills hinzu.
/plugin marketplace add ScrapeUnblocker/claude-code-plugin /plugin install scrapeunblocker@scrapeunblocker
Lokaler MCP-Server
Läuft auf deinem Rechner mit Node.js 18+, der Key bleibt also lokal. Diese Konfiguration funktioniert in Cursor und Claude Desktop.
{
"mcpServers": {
"scrapeunblocker": {
"command": "npx",
"args": ["-y", "scrapeunblocker-mcp"],
"env": { "SCRAPEUNBLOCKER_KEY": "YOUR_API_KEY" }
}
}
} SDKs
Für Agenten und Pipelines, die du selbst schreibst: Clients für Python, Node.js, Ruby und PHP mit einer Methode für jeden Endpoint und jedes Website-Plugin.
pip install scrapeunblocker npm install scrapeunblocker gem install scrapeunblocker composer require scrapeunblocker/client
n8n
Der ScrapeUnblocker-Node für n8n-Workflows. Suche im Nodes-Panel nach ScrapeUnblocker oder installiere das Paket unter Settings → Community nodes.
n8n-nodes-scrapeunblocker
Haystack
Eine Fetcher-Komponente für Haystack-Pipelines, für RAG und Agenten, die Live-Seiten lesen.
pip install scrapeunblocker-haystack
Du richtest es in Claude ein? Die MCP-Server-Seite zeigt claude.ai, Claude Code und Claude Desktop Schritt für Schritt.
In der Praxis
Aufgaben, die Agenten damit erledigen
FAQ
Häufige Fragen
Welche Agenten können es nutzen?
Alles, was das Model Context Protocol spricht: Claude im Web, auf dem Desktop und mobil, Claude Code, ChatGPT im Developer Mode, Cursor, VS Code und andere MCP-Clients. Selbst gebaute Agenten rufen die API über das Python-, Node.js-, Ruby- oder PHP-SDK auf, Workflows über den n8n-Node oder die Haystack-Komponente.
Brauche ich einen API-Key?
Auf dem gehosteten MCP-Server kannst du dich mit deinem ScrapeUnblocker-Konto anmelden, statt einen Key einzufügen. Überall sonst nutzt du deinen eigenen Key aus dem Dashboard. Jedes Konto startet mit 500 kostenlosen Anfragen, ohne Karte.
Was kostet eine Agenten-Aufgabe?
Eine Anfrage pro abgerufener Seite oder pro Suchergebnisseite. Website-Plugins, die Ergebnisse auflisten, berechnen eine Anfrage pro geladener Ergebnisseite. search_and_read berechnet seine Suche plus eine Anfrage pro gelesener Seite. Sperren, Timeouts, ein nicht erreichbarer Origin, Concurrency-Limits und Fehler auf unserer Seite werden nicht berechnet.
Kann mein Agent klicken, tippen oder scrollen?
Ja. browse_page führt Browser-Schritte aus (click, type, select, Taste drücken, scroll, warten), die in einem echten Browser laufen, bevor die Seite erfasst wird, und list_elements zeigt die passenden Selektoren. Login- und Zahlungsseiten werden nicht abgerufen, und Schritte füllen keine Passwort- oder Kartenfelder aus.
Wann sollte mein Agent das statt seines eingebauten Fetch nutzen?
Wenn der eingebaute Fetch gesperrt, leer oder aus dem falschen Land zurückkommt, wenn du Google-Ergebnisse mit Anzeigen und AI Overview brauchst oder wenn ein Website-Plugin die Daten als strukturierte Felder liefern kann.
Gib deinem Agenten die Seiten, an denen er scheitert
Erstelle ein kostenloses Konto, verbinde es in etwa einer Minute und zahle nur für Seiten, die ankommen.