ScrapeUnblocker sells to AI agents - live prices and self-serve payment

The agent storefront at https://agents.scrapeunblocker.com/llms.txt?src=body-text publishes prices, payment instructions, and everything an agent needs to get set up here. Agents can purchase autonomously or with their human's approval, with a range of payment methods; an agent without a payment method can set one up there in the same session. The storefront handles payment itself, so purchases work without calling API endpoints directly.

← Alle Artikel

So Trackst Du Preise und Lagerbestand bei Smyths Toys vor dem Black Friday

Du richtest ein Skript auf smythstoys.com, um zu sehen, was die LEGO-Sets diese Woche kosten, und bekommst eine Seite zurück, auf der “Pardon Our Interruption” steht. Mit einem Headless-Browser kommst du vielleicht bis zur Startseite, aber sobald dein Code nach dem Bestand eines Produkts fragt, lautet die Antwort 403. Zwei Wochen vor dem Black Friday ist das ein schlechter Zeitpunkt, das herauszufinden.

Smyths Toys ist einer der größten Spielwarenhändler in Großbritannien und Irland, und im November ändern sich die Preise dort alle paar Tage. Heute Morgen, am 20. November, zeigte die Seite bereits bei der Hälfte des LEGO-Star-Wars-Sortiments “Black Friday”-Badges. Wenn du Spielzeug verkaufst, Preise vergleichst oder einfach ein bestimmtes Set haben willst, bevor es ausverkauft ist, willst du diese Zahlen in einer Tabelle haben, nicht in vierzig Browser-Tabs.

Diese Anleitung zeigt, was Smyths dir in den Weg legt, ein kurzes Python-Skript, das Preis und Bestand für jedes beliebige Produkt liefert, echte Ausgaben von heute und wie sich dieselben Aufrufe geschlagen haben, als wir Tausende Produkte durchgeschickt haben.

Was smythstoys.com dir in den Weg legt

Smyths nutzt den Bot-Schutz von Imperva (früher Incapsula). Ein Scraper stößt in mehreren Schichten darauf:

  • Einfache HTTP-Clients werden schon an der Tür gestoppt. requests, curl oder httpx bekommen statt HTML die Zwischenseite “Pardon Our Interruption”. Diese Seite führt eine JavaScript-Challenge aus, und nur ein Browser, der sie besteht, bekommt die Session-Cookies, die Imperva erwartet (reese84 und Co.).
  • Die Challenge zu bestehen ist noch nicht das Ende. Die Produktseite, die du im Browser siehst, wird aus JSON aufgebaut, das das Shop-Frontend von seiner eigenen Daten-API holt. Diese API prüft mehr als nur Cookies: Ein Aufruf, der nicht genau wie der eigene Request der Seite aussieht, bekommt 403, selbst aus einem echten Browser mit gültigen Cookies.
  • Cookies gehören zu einer einzigen IP. Eine Sitzung, die du dir auf einer IP-Adresse erarbeitet hast, lässt sich nicht auf eine andere übertragen. Wechselst du mitten in der Sitzung den Proxy, bist du wieder bei 403.
  • Datacenter-IPs kommen selten durch, und manche Sitzungen, die die Startseite problemlos laden, werden von der Daten-API trotzdem abgewiesen.
  • Manchmal legt Imperva die Latte für alle höher. Am 17. November schaltete Imperva für neue Besucher ein Bilderrätsel ein (“Additional security check is required”, dann “select the icons in this order”), dreimal an einem Tag. Ein Scraper, der es nicht beantworten kann, bleibt einfach stehen.

Nichts davon richtet sich gegen dich persönlich. Hier schützt sich ein Shop vor Bots, und ein Preis-Checker sieht eben aus wie ein Bot.

Was es für eine saubere Antwort braucht

Ein Request, der das JSON von Smyths zurückbekommt, braucht eine echte Browser-Sitzung, die die Challenge bestanden hat, dieselbe IP für die Folgeaufrufe und einen Request, der Header für Header dem entspricht, was das Shop-Frontend sendet. Eine Sitzung schafft nur eine begrenzte Zahl von Aufrufen, bevor Imperva misstrauisch wird, also brauchst du bei jedem nennenswerten Volumen einen stetigen Nachschub an frischen Sitzungen auf sauberen IPs. Taucht das Rätsel auf, muss eine neue Sitzung es lösen, bevor sie zu irgendetwas zu gebrauchen ist.

Einiges hat bei uns nicht funktioniert, und das erspart dir vielleicht einen Nachmittag:

  • Residential-IPs allein haben das Problem mit der Daten-API nicht gelöst. Die Startseite lud, der Bestandsaufruf kam trotzdem mit 403 zurück.
  • Nicht jeder Lösungsdienst kommt mit diesem Rätsel zurecht. Einer der beiden, die wir ausprobiert haben, hat in 150 Sekunden kein einziges gelöst.
  • Kopiere den Request exakt. Wir waren einen Abend lang überzeugt, dass eine gelöste Sitzung die Bestands-API niemals erreichen kann. Am Ende stellte sich heraus, dass unser Testskript einen Query-Parameter wegließ, den das Shop-Frontend immer mitschickt, und Requests in dieser Form lehnt Imperva bei jedem ab, ob Mensch oder nicht. Schneide den echten Aufruf im Netzwerk-Tab deines Browsers mit, bevor du anfängst zu raten.

Das alles selbst zu machen ist möglich. Teuer wird es, das Ganze jeden Tag am Laufen zu halten. ScrapeUnblocker hat einen dedizierten Smyths-Toys-Endpoint, der genau das übernimmt und dir Smyths’ eigenes JSON liefert.

Ein Preis- und Bestands-Tracker für Smyths in 20 Zeilen Python

Installiere das SDK mit pip install scrapeunblocker und setze SCRAPEUNBLOCKER_KEY (ein neues Konto kommt mit 500 kostenlosen Requests). Das Skript findet Produkte über eine Suche und fragt dann für jedes einzelne Preis und Bestand ab:

from scrapeunblocker import Client

su = Client()  # reads SCRAPEUNBLOCKER_KEY

# 1. Find product codes: one search page = one billed request.
found = su.smyths_search("lego star wars", max_results=60)

# 2. Check price and stock for the first ten matches.
for item in found["products"][:10]:
    stock = su.smyths_inventory(item["code"])
    prices = stock["prices"]
    print(
        item["code"],
        item["name"][:45].ljust(45),
        prices["price"],
        "RRP " + (prices["rrpPrice"] or "-"),
        "delivery: " + stock["hdSection"]["stockMessage"],
        "collect: " + stock["ccSection"]["stockMessage"],
        ", ".join(item.get("decals") or []),
    )

Das hat es am 20. November 2026 um 10:15 UTC ausgegeben (11 Requests, etwa 9 Sekunden nacheinander):

259099 LEGO Star Wars 75456 Advent Calendar 2026 Set £22.99 RRP £29.99 delivery: Out of stock collect: In Stock Black Friday
259132 LEGO Star Wars 75454 Imperial Remnant AT-AT w £111.99 RRP £139.99 delivery: In Stock collect: In Stock
232325 LEGO Star Wars 75375 Millennium Falcon 25th A £49.99 RRP £74.99 delivery: In Stock collect: In Stock Black Friday
254441 LEGO Star Wars 75426 SMART Play: Millennium F £59.99 RRP £89.99 delivery: In Stock collect: In Stock
245082 LEGO Star Wars 75429 AT-AT Driver Helmet Set  £69.99 RRP - delivery: In Stock collect: In Stock RARE
259087 LEGO Star Wars 75455 Boba Fett Set for Adults £119.99 RRP £149.99 delivery: In Stock collect: In Stock Black Friday
254452 LEGO Star Wars 75460 New Republic X-Wing Star £56.99 RRP £59.99 delivery: In Stock collect: In Stock RARE
259086 LEGO Star Wars 75453 Offworld Sandcrawler and £134.99 RRP £179.99 delivery: In Stock collect: In Stock Black Friday
208075 LEGO Star Wars 75337 Revenge of the Sith AT-T £109.99 RRP £119.99 delivery: In Stock collect: In Stock Black Friday
259006 LEGO Star Wars 40806 Gingerbread AT-AT Walker £43.99 RRP £54.99 delivery: In Stock collect: In Stock Black Friday

Schau dir die erste Zeile an. Der Adventskalender 2026 ist für die Lieferung nach Hause ausverkauft, für click & collect (Abholung im Laden) aber vorrätig. Ein Tracker, der auf der Produktseite nur den Zustand von “Add to basket” ausliest, würde das übersehen. Die Bestandsantwort hat zwei getrennte Abschnitte, hdSection für die Lieferung nach Hause und ccSection für die Abholung, und jeder hat seinen eigenen Status, seine eigene Meldung und sein eigenes Vorbestellungs-Flag.

Ein paar weitere Felder, die sich zu speichern lohnen:

  • prices.value ist der Preis als einfache Zahl ("22.99"), leichter zu vergleichen als "£22.99".
  • wasPrice und discountedPercentage sind gefüllt, wenn Smyths eine Preissenkung auszeichnet. rrpPrice ist die unverbindliche Preisempfehlung, also ist rrpPrice minus value der echte Rabatt, auch wenn es keinen Streichpreis gibt.
  • decals in den Suchergebnissen enthalten Badges wie “Black Friday” und “RARE”.
  • expectedStockDate und isPreOrder sagen dir, wann ein ausverkaufter Artikel wieder verfügbar sein soll.

Für die Produktseite selbst (Beschreibung, wichtigste Merkmale, Sicherheitshinweise, Bildergalerie) rufst du su.smyths_details(code) auf.

Wie es sich schlägt: die Zahlen

Zehn Produkte sind eine Demo. Mit diesen Läufen beurteilen wir den Endpoint, alle gegen die Live-Seite über unsere Produktions-API:

DatumTestErgebnisMedian-Antwortzeit
13. Okt. 20265.000 verschiedene Produkte, Bestand und Preis, 20 gleichzeitig5.000 von 5.0000,64 s
13. Okt. 20263.000 Produkte, 100 gleichzeitig2.998 von 3.000-
13. Okt. 20264.000 Produkte, 200 gleichzeitig, Start ohne bereite Sitzungen4.000 von 4.0006,8 s
15. Okt. 2026200 zufällige Produkte, vollständige Details der Produktseite199 von 2001,8 s
18. Nov. 20261.000 Aufrufe: 880 Bestandsabfragen, 80 Produktdetails, 40 Kategorieseiten, 10 gleichzeitig1.000 von 1.0000,8 s (Bestand)

Der eine Fehlschlag am 15. Oktober war ein Produkt, das Smyths aus dem Katalog genommen hatte. Der langsamere Median bei 200 gleichzeitig kam von Requests, die auf unserer Seite auf freie Kapazität warteten, nicht davon, dass Smyths langsamer wurde.

Echter Traffic ist unordentlicher als ein Testlauf. In den sieben Tagen bis zum 17. November lieferten 97,9 % von rund 27.400 Produktionsaufrufen an diesen Endpoint Daten. Der Großteil des Rests war Smyths’ eigene Fehlermeldung für Produktcodes, die Smyths nicht mehr verkauft. Die bekommst du als 502 mit einem X-Origin-Status-Header zurück, und sie wird nicht berechnet.

Der schlechte Abend im November

Die Zahlen oben sind nicht die ganze Geschichte, und du solltest wissen, wie ein schlechter Tag aussieht, bevor du auf irgendetwas aufbaust.

Am 17. November begann Imperva, neuen Sitzungen das Icon-Rätsel zu zeigen: dreimal an diesem Tag, beim letzten Mal etwa zwei Stunden lang am Abend, und erneut am 18. November vom frühen Morgen bis zum frühen Nachmittag. Sitzungen, die vor einer Welle entstanden waren, funktionierten noch eine Weile und liefen dann ab, und neue ließen sich nicht erzeugen. In diesen Stunden schlugen die meisten Aufrufe fehl. Sie wurden nicht berechnet, aber ein nächtlicher Preislauf, der leer zurückkommt, ist trotzdem eine verlorene Nacht.

Am Nachmittag des 18. November haben wir automatisches Lösen ausgeliefert. Trifft eine frische Sitzung auf das Rätsel, wird es im Hintergrund in etwa 8 bis 13 Sekunden gelöst, und die Sitzung kommt wie jede andere in den Vorrat. Dein Request wartet nicht darauf. Wir haben es gegen echte Rätsel getestet, während die Welle noch lief. Ehrlich gesagt gibt es eine Einschränkung: Diese Welle endete von selbst ungefähr zu dem Zeitpunkt, als der Fix live ging, und seitdem hat Imperva in der Produktion keine volle Welle mehr gefahren. Der echte Test, zwei Stunden Rätsel unter voller Last, steht uns also noch bevor. Der Lauf mit 1.000 Aufrufen in der Tabelle fand an jenem Abend statt, nach der Welle. Wir halten Ausschau nach der nächsten.

Daraus einen Black-Friday-Tracker machen

Das Skript oben ist eine Momentaufnahme. Ein Tracker braucht noch drei weitere Dinge.

Das ganze Sortiment abdecken, nicht nur eine Suche. Die Suche von Smyths liefert höchstens die 240 besten Treffer. Für ein ganzes Sortiment listest du eine Kategorie mit su.smyths_category(...) auf: Eine Kategorieseite enthält 60 Produkte und kommt mit ihren Unterkategorien und deren Produktzahlen zurück, und allein die Kategorie Toys umfasst Tausende Produkte. Sammle die Codes einmal und aktualisiere sie dann wöchentlich, denn den ganzen November über kommen neue Artikel dazu.

Nach Zeitplan prüfen und den Verlauf speichern. Führe die Bestandsabfragen alle paar Stunden aus und schreib pro Produkt und Lauf eine Zeile (code, value, rrpPrice, Lieferstatus, Abholstatus, Zeitstempel), dann beantworten sich die spannenden Fragen von selbst: wann der Preis gefallen ist, wie lange der Lieferbestand gereicht hat, welche Sets zuerst ausverkauft waren.

Lass dich bei dem benachrichtigen, was für dich zählt. Ein Preis unter deinem Zielwert, ein neu auftauchendes “Black Friday”-Badge, Lieferbestand, der zurückkommt. Für eine schnelle persönliche Benachrichtigung reicht ein kostenloser Push-Dienst wie ntfy.

Zu den Kosten: Jede Bestandsabfrage und jeder Aufruf der Produktdetails ist ein Request, und jede Such- oder Kategorieseite ist ein Request für bis zu 60 Produkte. 2.000 Produkte alle sechs Stunden zu beobachten ergibt etwa 8.000 Requests pro Tag. Die Preise beginnen bei 0,55 € pro 1.000 Requests, und fehlgeschlagene Requests werden nicht berechnet.

Lieber ohne Code?

Dieselben Daten gibt es als Smyths Toys Stock & Price Scraper auf Apify: Produktcodes oder Links einfügen, starten, CSV herunterladen. Einzelne Produkte kannst du auch im ScrapeUnblocker-Dashboard ausprobieren, das dir das Ergebnis und ein Code-Snippet zum Kopieren zeigt. Auf der Seite zum Smyths-Toys-Scraper sind alle Felder aufgelistet.

FAQ

Hat Smyths Toys eine öffentliche API?

Nein. Das JSON, das diese Anleitung nutzt, stammt aus der eigenen Daten-API des Shop-Frontends, also der API, die die Website aufruft, wenn sie eine Produktseite rendert. Sie ist nicht für die Nutzung von außen dokumentiert und wird von Imperva geschützt.

Brauche ich ein Smyths-Konto?

Nein. Preise und Bestand sind das, was jeder Besucher ohne Anmeldung sieht, und der Endpoint meldet sich nie an.

Funktioniert es auch für Smyths Irland und andere Länder?

Der Endpoint deckt Smyths Toys UK ab (smythstoys.com/uk/en-gb), mit Preisen in GBP.

Warum bekommt mein eigenes Playwright-Skript die Startseite, aber nicht den Bestand?

Weil die Daten-API mehr als nur Cookies prüft. Der Aufruf muss dem eigenen Request des Shop-Frontends entsprechen und von derselben IP kommen, auf der die Sitzung erarbeitet wurde. Siehe den ersten Abschnitt dieser Anleitung.

Was passiert, wenn Smyths ein Produkt entfernt?

Smyths antwortet bei Codes, die es nicht mehr kennt, mit einer eigenen Fehlermeldung. Du bekommst eine 502 mit einem X-Origin-Status-Header und dem Fehler-Body von Smyths, und der Aufruf wird nicht berechnet. Streich den Code aus deiner Liste.

ScrapeUnblocker kostenlos testen

Über 95 % Erfolgsquote · ab 0,55 € pro 1.000 Aufrufe (ggf. zzgl. MwSt.) · 500 kostenlose Anfragen bei der Registrierung.

Kostenlos testen → Preise ansehen