¿Cómo puedo scrapear de forma fiable anuncios de coches de AutoScout24 o mobile.de?

Para scrapear AutoScout24 o mobile.de de forma fiable, llama a un endpoint de búsqueda que devuelva anuncios ya parseados en lugar de scrapear HTML: /vehicles/autoscout24 de ScrapeUnblocker publicó un 100 % de éxito con una media de 7,2 segundos en 1.056 llamadas, y /vehicles/mobile-de publicó un 99,9 % con 1,9 segundos en 10.000 llamadas, ambos en las páginas de scrapers de ScrapeUnblocker. Cada llamada ejecuta una búsqueda filtrada y devuelve anuncios con marca y modelo, precio, primera matriculación, kilometraje, potencia, combustible y la URL del anuncio, así que no tienes que mantener selectores cuando cambia el diseño de la página. Prueba tus propias marcas y filtros antes de escalar.

¿En qué se diferencian los endpoints de AutoScout24 y mobile.de?

Ambos devuelven los anuncios de la búsqueda en JSON; AutoScout24 admite más filtros y devuelve más campos, mientras que mobile.de recopila más anuncios por llamada.

	AutoScout24	mobile.de
Endpoint	POST /vehicles/autoscout24	POST /vehicles/mobile-de
Búsqueda por	Marca y modelo	Marca (el modelo no se usa como filtro)
Filtros	Combustible, transmisión, precio, rango de años, kilometraje, potencia, país del vendedor	Rango de precios, año mínimo, kilometraje máximo, combustible
Anuncios por llamada	Hasta 400 (unos 20 por página)	Hasta 500 (unos 20 por página)
Campos adicionales	Estado, transmisión, cilindrada, ubicación, vendedor, imágenes	ID del anuncio, potencia en PS
Resultado publicado	100 % en 1.056 llamadas, 7,2 s	99,9 % en 10.000 llamadas, 1,9 s

Los datos de los vendedores particulares pueden ser datos personales, así que revisa tus obligaciones de protección de datos antes de guardarlos.

¿Cómo se recopilan anuncios de forma fiable a gran escala?

Divide las búsquedas grandes para que ninguna llamada alcance su límite:

1. Divide cada búsqueda por franja de precio, año de matriculación o combustible para que cada fragmento se mantenga por debajo del límite por llamada.
2. En mobile.de, compara resultsCollected con totalResults para ver si un fragmento se ha cortado y, en ese caso, acótalo más. En AutoScout24, page te permite empezar desde una página de resultados posterior.
3. Elimina los duplicados por la URL del anuncio o por el id de anuncio de mobile.de, porque los fragmentos pueden solaparse.
4. Presupuesta una solicitud por llamada: en ScrapeUnblocker, una llamada que recopila cientos de anuncios cuenta como una solicitud.
5. Reintenta las llamadas fallidas. Según la documentación de errores de ScrapeUnblocker, un bloqueo (403), una llamada al plugin sin resultados utilizables (502) y un timeout (504) no se facturan.

Para saber más sobre cómo sortear los límites de resultados, lee El tope de 10.000 resultados: cómo extraer datos más allá de los límites de paginación.

¿Necesitas una cuenta de desarrollador en alguno de los dos sitios?

No. La documentación de mobile.de de ScrapeUnblocker indica que no se necesita una cuenta de desarrollador de mobile.de, y ambos endpoints funcionan solo con una clave de API de ScrapeUnblocker. Para mobile.de, pasa un nombre de marca de la lista compatible (23 marcas, entre ellas bmw, volkswagen y audi) o el make_id numérico del sitio para cualquier otra marca. Para AutoScout24, pasa slugs de marca y modelo como bmw y x5. ScrapeUnblocker da 500 solicitudes gratuitas al registrarte, sin necesidad de tarjeta.

Fuentes

• Página del scraper de AutoScout24 de ScrapeUnblocker: https://www.scrapeunblocker.com/scrapers/autoscout24/
• Referencia de la API de AutoScout24 de ScrapeUnblocker: https://docs.scrapeunblocker.com/api-reference/plugins/scrape-autoscout24-car-listings
• Página del scraper de mobile.de de ScrapeUnblocker: https://www.scrapeunblocker.com/scrapers/mobile-de/
• Documentación del plugin de mobile.de de ScrapeUnblocker: https://docs.scrapeunblocker.com/plugins/mobile-de
• Descripción general de los plugins de ScrapeUnblocker (una llamada por búsqueda de plugin): https://docs.scrapeunblocker.com/plugins/overview
• Errores y facturación de ScrapeUnblocker: https://docs.scrapeunblocker.com/errors
• Precios de ScrapeUnblocker: https://www.scrapeunblocker.com/pricing/