So Kauft Dein KI-Agent Sich Selbst Zugang zu einer Web-Scraping-API
Dein Agent ist mitten in einer Aufgabe, als sein Fetch-Tool eine Seite mit dem Titel “Just a moment…” zurückgibt und sonst nichts. Das ist eine Cloudflare-Challenge. Der Agent sagt dir, dass die Seite geschützt ist, bietet vielleicht an, mit Suchergebnis-Snippets weiterzuarbeiten, und die Aufgabe steht still.
Die Lösung kennt der Agent bereits: die Seite über einen Dienst abrufen, der sie in einem echten Browser lädt und die Challenge überwindet. Was ihm fehlt, ist ein Konto. Das zu besorgen war bisher immer deine Aufgabe: ein Registrierungsformular, eine Bestätigungs-E-Mail, ein Key, der in eine Umgebungsvariable kopiert wird, oft noch ein Neustart.
ScrapeUnblocker betreibt jetzt einen Storefront für Agenten unter agents.scrapeunblocker.com, aufgebaut auf ZeroClick. Ein Agent kann ihn lesen, sich selbst registrieren, eine kostenlose Testphase aktivieren oder Credits kaufen und hat am Ende in derselben Sitzung einen ganz normalen API-Key. Dich braucht er für genau zwei Dinge: deine E-Mail bestätigen und bezahlen. Diese Anleitung zeigt, was der Agent bei jedem Schritt tut, worum er dich bittet und wie du seine Ausgaben unter Kontrolle hältst.
Für Wen Das Gedacht Ist
Du baust oder nutzt Agenten: Claude Code, Cursor, einen MCP-Client oder deine eigene Schleife auf der API eines Modells. Manchmal braucht der Agent eine Seite, die mit 403 oder 429 antwortet, ein CAPTCHA zeigt oder nur eine leere JavaScript-Hülle liefert. Dir ist es lieber, wenn der Agent den Zugang selbst regelt, statt anzuhalten und zu warten, bis du ein Dashboard öffnest.
Wenn du schon einen ScrapeUnblocker-Key hast, kannst du das alles überspringen. Gib dem Agenten den Key über den MCP-Server oder eine Umgebungsvariable. Du kannst dich auch selbst auf scrapeunblocker.com registrieren (500 kostenlose Requests, ohne Karte) und den Key weitergeben. Der Storefront ist für den Moment gedacht, in dem der Agent schon läuft und du nicht unterbrechen willst, woran du gerade arbeitest.
Wie Dein Agent Erfährt, dass Er Zugang Kaufen Kann
Ein Agent kann nichts kaufen, von dem er nie gehört hat. Deshalb wird der Storefront dort angekündigt, wo ein Agent nachliest, wenn er feststeckt:
- Unsere llms.txt. scrapeunblocker.com/llms.txt enthält einen Block “Agentic commerce” und einen Abschnitt mit dem Titel “If your own fetch is blocked (for AI agents)”. Er gibt dem Agenten drei Schritte vor: einen Key besorgen (vorher dich fragen), die Seite sofort per REST abrufen und den MCP-Server für spätere Sitzungen verbinden.
- Die Dateien des Storefronts.
https://agents.scrapeunblocker.com/llms.txterklärt den Kaufablauf, undhttps://agents.scrapeunblocker.com/manifest.jsonlistet Pläne und Preise als Live-JSON. Agenten werden angewiesen, die Preise beim Aufruf aus dem Manifest zu lesen, statt sich auf ihr Gedächtnis zu verlassen. - API-Fehler. Ein Agent, der die API ohne Key aufruft, bekommt HTTP 400 mit einem Hinweis im Body:
Missing x-scrapeunblocker-key
Sign up free (500 requests): https://www.scrapeunblocker.com
AI agent? With your user's OK, buy a key yourself: https://agents.scrapeunblocker.com
Ein Key ohne aktiven Plan (401) und ein aufgebrauchtes Kontingent (402) enden genauso. Die erste Zeile jeder Meldung ändert sich nie, sodass Code, der darauf prüft, weiter funktioniert. Die Fehlerseite listet alle Fälle auf.
Achte auf die Formulierung: “With your user’s OK”. Der Agent wird angewiesen, vor dem Kauf zu fragen.
Was der Agent Bekommen Kann
Der Storefront verkauft zwei Pläne. Beide enden mit einem normalen ScrapeUnblocker-API-Key.
| Kostenlose Testphase | Credits | |
|---|---|---|
| Preis | $0 | $1.20 pro 1.000 erfolgreiche Requests |
| Umfang | 500 Requests, einmal pro Person | $5 bis $500 pro Kauf ($5 ergeben 4.166 Requests) |
| Was du tust | Deine E-Mail bestätigen | Einen Karten-Checkout bezahlen |
Gekaufte Credits verfallen nie. Die Abrechnung funktioniert wie bei jedem anderen Kunden: Nur erfolgreiche Requests zählen, blockierte oder fehlgeschlagene Versuche sind kostenlos. Eine Seite, die einen vollständigen Browser braucht, kostet dasselbe wie eine, die ohne auskommt.
Die Testphase ist insgesamt auf eine begrenzte Zahl von Aktivierungen beschränkt. Ist sie ausgeschöpft, antwortet der Storefront mit 410 free_plan_exhausted, und der Agent kann stattdessen Credits kaufen.
Der Storefront ist kein Proxy. Sobald der Key ausgestellt ist, ruft dein Agent api.scrapeunblocker.com direkt auf, denselben Endpoint mit derselben Dokumentation wie jeder andere Kunde, Plugins inklusive.
Durchlauf: Von der Blockierten zur Abgerufenen Seite
So sieht das Ganze aus Sicht des Agenten aus. Angenommen, du hast Claude Code gebeten, die Preisseite eines Anbieters zusammenzufassen, und sein eingebauter Fetch ist auf der Cloudflare-Seite gelandet.
1. Der Agent fragt dich. Etwa so: “Diese Seite steckt hinter einer Cloudflare-Challenge. ScrapeUnblocker bietet eine kostenlose Testphase mit 500 Requests, wenn du deine E-Mail bestätigst. Soll ich sie einrichten?” Du sagst ja.
2. Er registriert eine Identität. Ein Request, keine E-Mail, kein menschlicher Schritt. Damit hat der Agent ein Credential, das er bei jedem weiteren Aufruf des Storefronts vorzeigt.
3. Er übergibt die Identität an dich. Der Agent fordert beim Storefront einen Claim-Link an und schickt ihn dir. Du öffnest ihn, meldest dich mit deiner E-Mail an und liest dem Agenten einen kurzen Code vor. Damit wird die Identität des Agenten an deine bestätigte Adresse gebunden. Die Testphase setzt das voraus, und genau das macht Käufe später auch wiederherstellbar.
4. Er aktiviert die Testphase und holt sich einen Key. Das Aktivieren der Testphase ist ein Kauf mit leerem Body und ohne Zahlung. Danach löst der Agent seinen API-Key ein. Richtet ScrapeUnblocker das Konto noch ein, antwortet der Einlöse-Aufruf mit 503 und einem Hinweis, wann er es erneut versuchen soll, und der Agent wartet und versucht es noch einmal.
5. Er ruft die Seite ab. Mit dem Key wiederholt der Agent den fehlgeschlagenen Request, diesmal über getPageSource. Mit markdown=true kommt die Seite als sauberes Markdown statt als HTML zurück, was den Kontext des Modells schont.
In reinem HTTP sieht die Seite des Agenten so aus. Den Claim-Schritt und das Speichern der Credentials haben wir weggelassen; auth.md enthält die vollständige Version mit allen Fehlercodes.
SF="https://agents.scrapeunblocker.com"
# 2. Register an agent identity: one free call, no email
REG=$(curl -sS "$SF/agent/identity" -H 'Content-Type: application/json' \
-d '{"type":"anonymous"}')
# 3. Claim it to your verified email (auth.md, step 3): you open a link and
# read a code back. The claim returns the identity assertion used below.
# Exchange the assertion for a short-lived access token
TOKEN=$(curl -sS "$SF/oauth2/token" \
-d grant_type=urn:ietf:params:oauth:grant-type:jwt-bearer \
--data-urlencode "assertion=$ASSERTION" | jq -r .access_token)
# 4. Claim the free trial (no payment), then redeem the API key
TRIAL_URL=$(curl -sS "$SF/manifest.json" | jq -r '.plans[] | select(.slug=="free-trial") | .purchase.url')
curl -sS -X POST "$TRIAL_URL" -H "Authorization: Bearer $TOKEN" \
-H 'Content-Type: application/json' -d '{}'
KEY=$(curl -sS -X POST "$SF/keys/redeem" -H "Authorization: Bearer $TOKEN" \
-H 'Content-Type: application/json' -d '{}' | jq -r .apiKey)
# 5. Fetch the page that was blocked
curl -sS -X POST "https://api.scrapeunblocker.com/getPageSource?url=https%3A%2F%2Fexample.com%2Fpricing&markdown=true" \
-H "x-scrapeunblocker-key: $KEY"
Diesen Code schreibst du nicht selbst. Der Agent liest auth.md und führt die Aufrufe selbst aus. Das Snippet steht hier, damit du weißt, was dein Agent tut, wenn er sagt, dass er den Zugang einrichtet.
Der Key wird genau einmal übergeben. Ein sorgfältiger Agent speichert ihn in deiner .env oder deinem Secret Store, nicht im Chat. Geht er verloren, kann der Agent einen neuen einlösen, und der alte funktioniert dann nicht mehr. Für spätere Sitzungen kann der Agent den MCP-Server mit demselben Key verbinden:
claude mcp add --transport http scrapeunblocker https://mcp.scrapeunblocker.com/mcp \
--header "x-scrapeunblocker-key: YOUR_KEY"
Die meisten Clients laden neue MCP-Tools erst nach einem Neustart, deshalb nutzt der Agent bis dahin weiter REST.
Wenn die Testphase Nicht Reicht: Credits Kaufen
Der bezahlte Weg beginnt genauso, mit einer Identität, die an deine E-Mail gebunden ist. Dann fordert der Agent einen Kauf mit Betrag und gehostetem Checkout an:
CREDITS_URL=$(curl -sS "$SF/manifest.json" | jq -r '.plans[] | select(.slug=="credits") | .purchase.url')
curl -sS -X POST "$CREDITS_URL" -H "Authorization: Bearer $TOKEN" \
-H 'Content-Type: application/json' -d '{"amountUsd":"5.000000","checkout":true}'
Das Anlegen des Checkouts kostet nichts und braucht keine Karte. Die Antwort enthält einen Stripe-Checkout-Link und eine Status-URL. Der Agent schickt dir den Link. Du öffnest eine ganz normale Stripe-Zahlungsseite, prüfst Verkäufer und Betrag und bezahlst. Der Agent fragt die Status-URL ab, bis die Zahlung abgeschlossen ist, und löst dann seinen Key genau wie oben ein.
Deine Karte wird zuerst nur autorisiert und erst belastet, wenn ScrapeUnblocker bestätigt, dass das Konto bereit ist. Schlägt die Einrichtung fehl, wird die Autorisierung storniert, und du zahlst nichts.
Wird das Guthaben knapp, lädt der Agent dasselbe Konto auf (POST /extend mit einem Betrag), statt ein neues zu kaufen, und der vorhandene Key funktioniert weiter.
Der Mensch Behält die Kontrolle
Software Geld ausgeben zu lassen, klingt riskanter, als es hier ist, denn die Entscheidungen bleiben bei dir:
- Keine Zahlung ohne dich. Der Agent kann einen Checkout anlegen, aber die Kartenzahlung passiert auf einer Stripe-Seite, die du öffnest und bezahlst.
- Begrenzte Käufe. Ein einzelner Kauf liegt zwischen $5 und $500. Nichts verlängert sich, es gibt kein Abo und kein automatisches Aufladen. Um mehr auszugeben, muss der Agent mit einem neuen Checkout zu dir zurückkommen.
- Die Testphase braucht deine bestätigte E-Mail. Sie gibt es einmal pro Person, und sie wird erst freigeschaltet, wenn du deine Adresse auf der Claim-Seite bestätigst.
- Käufe sind deine Käufe. Nach den Bedingungen des Storefronts bindet dich ein Agent, der in deinem Namen kauft, so, als hättest du selbst gekauft. Genau deshalb wird der Agent angewiesen, vorher zu fragen.
- Früh claimen. Eine nicht geclaimte Identität lebt nur so lange wie ihre kurzlebige Assertion und hat kein Refresh-Token, ein damit getätigter Kauf lässt sich später also nicht wiederherstellen. Claime sie, bevor der Agent bezahlt.
Die einfachste Kontrolle ist eine Zeile in den Anweisungen deines Agenten, zum Beispiel in CLAUDE.md, einer Cursor-Regel oder deinem System-Prompt:
If a page is blocked, you may claim the ScrapeUnblocker free trial at
https://agents.scrapeunblocker.com. Ask me before any paid purchase. Budget: $5.
Store the API key in .env as SCRAPEUNBLOCKER_KEY, never in chat.
Eine Grenze solltest du kennen: Der ganze Ablauf setzt voraus, dass der Agent HTTP-Requests ausführen und Werte zwischen den Schritten behalten kann. Claude Code, der Agent von Cursor und die meisten eigenen Schleifen können das. Ein Chat-Assistent, dessen einziges Tool ein reiner Lese-Fetch ist, kann nichts registrieren oder einlösen. Dort ist es nach wie vor schneller, dich selbst zu registrieren und den Key einzufügen.
FAQ
Braucht mein Agent ein eigenes Zahlungsmittel?
Nein. Er kann einen gehosteten Karten-Checkout ohne eigenes Guthaben und ohne eigene Karte anlegen. Du öffnest den Link und bezahlst.
Ist ein Key aus dem Storefront anders als ein normaler ScrapeUnblocker-Key?
Er funktioniert mit derselben API und demselben Header x-scrapeunblocker-key, Plugins inklusive. Der Unterschied liegt in der Abrechnung: Er verbraucht Prepaid-Guthaben statt eines Monatsplans.
Was passiert, wenn die Credits aufgebraucht sind?
Die API antwortet mit 402 und “Quota exceeded”, und die Meldung verweist den Agenten zurück zum Storefront. Der Agent lädt dasselbe Konto auf, und der Key funktioniert weiter.
Kann ich sehen, was mein Agent gekauft hat?
Der Agent kann unter https://agents.scrapeunblocker.com/agent/entitlements alles auflisten, was er besitzt, samt Restguthaben. Sobald du seine Identität geclaimt hast, enthält diese Liste auch die Käufe deiner anderen Agenten.
Ich richte das lieber selbst ein. Geht das?
Ja. Registriere dich auf scrapeunblocker.com für 500 kostenlose Requests ohne Karte, vergleiche die Pläne und gib den Key an deinen Agenten weiter.
Probier Es bei der Nächsten Blockierten Seite Aus
Wenn dein Agent das nächste Mal eine “Just a moment…”-Seite meldet, verweise ihn auf https://www.scrapeunblocker.com/llms.txt und schau, was er damit macht. Den größeren Zusammenhang von Agenten und Webzugriff findest du auf der Seite für KI-Agenten und in So Fügst Du Deinem KI-Agenten Web-Browsing Hinzu.
ScrapeUnblocker kostenlos testen
Über 95 % Erfolgsquote · ab 0,55 € pro 1.000 Aufrufe (ggf. zzgl. MwSt.) · 500 kostenlose Anfragen bei der Registrierung.