Wie scrape ich Fahrzeuginserate von AutoScout24 oder mobile.de zuverlässig?

Um AutoScout24 oder mobile.de zuverlässig zu scrapen, rufen Sie einen Such-Endpunkt auf, der geparste Inserate liefert, statt HTML zu scrapen: /vehicles/autoscout24 von ScrapeUnblocker hat eine Erfolgsquote von 100 % bei durchschnittlich 7,2 Sekunden über 1.056 Aufrufe veröffentlicht und /vehicles/mobile-de 99,9 % bei 1,9 Sekunden über 10.000 Aufrufe, beide auf den Scraper-Seiten von ScrapeUnblocker. Jeder Aufruf führt eine gefilterte Suche aus und liefert Inserate mit Marke und Modell, Preis, Erstzulassung, Kilometerstand, Leistung, Kraftstoff und einer Inserats-URL, sodass Sie keine Selektoren pflegen müssen, wenn sich das Seitenlayout ändert. Testen Sie Ihre eigenen Marken und Filter, bevor Sie skalieren.

Wie schneiden die Endpunkte für AutoScout24 und mobile.de im Vergleich ab?

Beide liefern Suchinserate als JSON; AutoScout24 akzeptiert mehr Filter und liefert mehr Felder, während mobile.de mehr Inserate pro Aufruf sammelt.

	AutoScout24	mobile.de
Endpunkt	POST /vehicles/autoscout24	POST /vehicles/mobile-de
Suche nach	Marke und Modell	Marke (ein Modell wird nicht als Filter verwendet)
Filter	Kraftstoff, Getriebe, Preis, Baujahrbereich, Kilometerstand, Leistung, Land des Verkäufers	Preisspanne, frühestes Baujahr, maximaler Kilometerstand, Kraftstoff
Inserate pro Aufruf	Bis zu 400 (etwa 20 pro Seite)	Bis zu 500 (etwa 20 pro Seite)
Zusätzliche Felder	Zustand, Getriebe, Hubraum, Standort, Verkäufer, Bilder	Inserats-ID, Leistung in PS
Veröffentlichtes Ergebnis	100 % über 1.056 Aufrufe, 7,2 s	99,9 % über 10.000 Aufrufe, 1,9 s

Angaben zu privaten Verkäufern können personenbezogene Daten sein, prüfen Sie daher Ihre Datenschutzpflichten, bevor Sie sie speichern.

Wie sammeln Sie Inserate in großem Umfang zuverlässig?

Teilen Sie große Suchen so auf, dass kein einzelner Aufruf seine Obergrenze erreicht:

1. Teilen Sie jede Suche nach Preisband, Erstzulassungsjahr oder Kraftstoff auf, sodass jeder Teil unter dem Limit pro Aufruf bleibt.
2. Vergleichen Sie bei mobile.de resultsCollected mit totalResults, um zu sehen, ob ein Teil abgeschnitten wurde, und grenzen Sie ihn dann weiter ein. Bei AutoScout24 können Sie mit page bei einer späteren Ergebnisseite beginnen.
3. Deduplizieren Sie anhand der Inserats-URL oder der Inserats-id von mobile.de, denn Teile können sich überschneiden.
4. Planen Sie eine Anfrage pro Aufruf ein: Bei ScrapeUnblocker zählt ein Aufruf, der Hunderte von Inseraten sammelt, als eine Anfrage.
5. Wiederholen Sie fehlgeschlagene Aufrufe. Laut der Fehlerdokumentation von ScrapeUnblocker werden eine Blockierung (403), ein Plugin-Aufruf ohne verwertbare Ergebnisse (502) und ein Timeout (504) nicht berechnet.

Mehr dazu, wie Sie Ergebnisobergrenzen umgehen, lesen Sie in Die Obergrenze von 10.000 Ergebnissen: So scrapen Sie über Paginierungslimits von Suchen hinaus.

Brauchen Sie bei einer der beiden Websites ein Entwicklerkonto?

Nein. Die mobile.de-Dokumentation von ScrapeUnblocker gibt an, dass kein mobile.de-Entwicklerkonto erforderlich ist, und beide Endpunkte funktionieren allein mit einem ScrapeUnblocker-API-Schlüssel. Übergeben Sie für mobile.de einen Markennamen aus der Liste der unterstützten Marken (23 Marken, darunter bmw, volkswagen und audi) oder für jede andere Marke die numerische make_id der Website. Übergeben Sie für AutoScout24 Slugs für Marke und Modell wie bmw und x5. ScrapeUnblocker gibt bei der Registrierung 500 kostenlose Anfragen, ohne Karte.

Quellen

• AutoScout24-Scraper-Seite von ScrapeUnblocker: https://www.scrapeunblocker.com/scrapers/autoscout24/
• AutoScout24-API-Referenz von ScrapeUnblocker: https://docs.scrapeunblocker.com/api-reference/plugins/scrape-autoscout24-car-listings
• mobile.de-Scraper-Seite von ScrapeUnblocker: https://www.scrapeunblocker.com/scrapers/mobile-de/
• Dokumentation des mobile.de-Plugins von ScrapeUnblocker: https://docs.scrapeunblocker.com/plugins/mobile-de
• Plugin-Übersicht von ScrapeUnblocker (ein Aufruf pro Plugin-Suche): https://docs.scrapeunblocker.com/plugins/overview
• ScrapeUnblocker-Fehler und Abrechnung: https://docs.scrapeunblocker.com/errors
• ScrapeUnblocker-Preise: https://www.scrapeunblocker.com/pricing/