Web Scraping in n8n mit dem ScrapeUnblocker-Node

Wenn du jemals versucht hast, Web Scraping in einen n8n-Workflow einzubauen, kennst du den Punkt, an dem alles auseinanderfällt. Der HTTP-Request-Node funktioniert einwandfrei, bis du ihn auf ein echtes Ziel richtest. Dann liefert Cloudflare eine Challenge-Seite, DataDome serviert ein CAPTCHA, oder die Seite rendert alles clientseitig und deine Selektoren finden nichts. Plötzlich ist deine saubere Automatisierung ein Haufen aus Retries, Proxy-Konfigurationen und brüchigen Workarounds.

Wir haben den ScrapeUnblocker-Node gebaut, damit dieses Problem verschwindet. Er ist jetzt direkt in n8n verfügbar, sodass du jede beliebige Seite über unsere Anti-Bot-Bypass-Engine abrufen kannst, ohne deinen Workflow zu verlassen.

Was der Node macht

ScrapeUnblocker nimmt eine URL und gibt die Seite zurück. Der schwierige Teil - herauszufinden, wie man an der Schutzschicht vorbeikommt - passiert auf unserer Seite. Für jede Anfrage wählen wir den günstigsten Weg, der für diese Domain tatsächlich funktioniert: einen direkten Fetch, einen Residential-Proxy im richtigen Land, einen Stealth-Browser mit zufälligem Fingerprint oder ein Custom-Plugin, das für Seiten wie Mobile.de, Zillow und Amazon gebaut wurde. Du konfigurierst nichts davon. Du übergibst eine URL, du bekommst die Seite.

In n8n wird daraus ein einzelner Node mit ein paar Feldern. Die drei Dinge, die die meisten Workflows brauchen:

• Get Page Source (HTML) - gibt das vollständig gerenderte HTML der Seite zurück, nachdem JavaScript ausgeführt und jede Challenge gelöst wurde. Das ist die Standardoption und deckt die meisten Scraping-Aufgaben ab.
• Parsed data (JSON) - statt rohem HTML bekommst du ein strukturiertes JSON-Payload. ScrapeUnblocker extrahiert die relevanten Inhalte über Schema.org-Markup, eingebettete Seitendaten und KI-generierte Regeln, sodass du Felder direkt in den Rest deines Workflows verdrahten kannst, ohne einen Parser zu schreiben.
• Country targeting - erzwinge die Anfrage über den Proxy-Pool eines bestimmten Landes mit einem zweistelligen ISO-Code (zum Beispiel US, DE, GB). Über 150 Länder stehen zur Verfügung, sodass geografisch eingeschränkte Inhalte und lokalisierte Preise nur ein Feld entfernt sind.

Erste Schritte

Der Node ist auf n8n verifiziert, du musst also nichts aus npm installieren oder selbst kompilieren.

1. Öffne einen beliebigen Workflow und klicke, um einen Node hinzuzufügen.
2. Suche im Node-Panel nach ScrapeUnblocker.
3. Füge ihn hinzu und erstelle dann eine Credential mit deinem API-Key. Einen Key bekommst du in deinem ScrapeUnblocker-Dashboard - neue Konten erhalten 500 kostenlose Anfragen, ohne Kreditkarte.

Das ist das gesamte Setup. Die Credential wird einmal gespeichert und von jedem ScrapeUnblocker-Node in deiner Instanz wiederverwendet.

Ein erster Workflow

So sieht der Aufbau eines typischen Scrape-and-Process-Workflows aus:

1. Trigger - ein Schedule-Node, der jeden Morgen feuert, ein Webhook oder ein manueller Lauf.
2. ScrapeUnblocker-Node - stelle die Operation auf Get Page Source, füge die Ziel-URL ein (oder mappe sie aus einem vorherigen Node) und wähle bei Bedarf ein Proxy-Land.
3. Process - leite die Ausgabe in das, was als Nächstes kommt. Rohes HTML geht in einen HTML-Extract-Node; geparstes JSON geht direkt in einen Set-, Filter- oder Code-Node.
4. Speichern oder benachrichtigen - hänge Zeilen an Google Sheets an, füge sie in eine Datenbank ein, poste in Slack oder schicke sie an deine eigene API.

Da der Node reguläre n8n-Items zurückgibt, verhält sich alles Nachgelagerte genau so, wie es mit jeder anderen Datenquelle wäre. Retries, Error-Branches, Batching und Expressions bekommst du gratis dazu.

Wo das nützlich wird

Die Kombination aus n8n’s Scheduling und Branching mit einem Scraper, der nicht blockiert wird, eröffnet jede Menge wiederkehrender Aufgaben, für die man früher ein eigenes Skript und einen Server zum Ausführen brauchte:

• Preis- und Bestandsüberwachung - scrape Produktseiten von Wettbewerbern nach Zeitplan, vergleiche mit gestern und alarmiere, wenn sich etwas ändert.
• Lead- und Listing-Sammlung - hole Marktplatz- oder Verzeichnis-Listings in ein Sheet oder CRM, ohne Proxys zu pflegen.
• Content- und SEO-Tracking - beobachte Ranking-Seiten, Nachrichtenseiten oder Jobbörsen und leite neue Einträge in deine Pipeline.
• LLMs füttern - hole sauberen Seiteninhalt oder geparstes JSON und übergib es an einen KI-Node zum Zusammenfassen, Klassifizieren oder Extrahieren.

Das alles lebt auf einem einzigen n8n-Canvas, nach Zeitplan, ohne Scraping-Infrastruktur, die gewartet werden muss.

Warum Scraping über ScrapeUnblocker leiten

Der HTTP-Request-Node ist großartig für APIs, die aufgerufen werden wollen. Scraping ist das gegenteilige Problem: Das Ziel versucht aktiv, Bots von Menschen zu unterscheiden. Proxys rotieren, JavaScript rendern, die Reihenfolge von Cookies und Headern angleichen und Challenges lösen ist ein Vollzeitjob - und er ändert sich jedes Mal, wenn eine Seite ihre Abwehr aktualisiert.

Das an ScrapeUnblocker auszulagern bedeutet, dass es deinen Workflow nicht mehr interessiert, wie eine Seite geschützt ist. Der Node fragt nach einer URL und bekommt die Seite zurück, egal ob diese Seite hinter Cloudflare, DataDome, PerimeterX oder Akamai sitzt. Deine Automatisierung bleibt einfach und funktioniert weiter, wenn das Ziel seinen Schutz verschärft.

Probier es aus

Wenn du bereits n8n nutzt, suche im Node-Panel nach ScrapeUnblocker und verbinde ihn mit einem kostenlosen Key. Wenn du neu bei ScrapeUnblocker bist, erstelle ein Konto und starte mit 500 kostenlosen Anfragen - richte den Node auf eine Seite, die dich normalerweise blockiert, und sieh zu, wie das HTML sauber zurückkommt.