Buscadores

Google Search

google.com

Google se sirve mediante un endpoint dedicado en lugar del fetch genérico de páginas, porque el scraping de SERP necesita fijar geografía e idioma para tener sentido. Pide los resultados para un país e idioma concretos y obtendrás lo que ve allí quien busca.

Qué puedes extraer

• Resultados orgánicos con posición, título, URL y snippet
• Resultados de pago y bloques de shopping
• Fragmento destacado y bloques de otras preguntas
• Entradas del pack local
• Conjuntos de resultados fijados por geografía e idioma

Cómo rastrearlo

curl -X POST \
  -H "X-ScrapeUnblocker-Key: $SU_API_KEY" \
  "https://api.scrapeunblocker.com/serpApi?keyword=web%20scraping%20api&pages_to_check=1"

import requests

resp = requests.post(
    "https://api.scrapeunblocker.com/serpApi",
    headers={"X-ScrapeUnblocker-Key": SU_API_KEY},
    params={"keyword": "web scraping api", "pages_to_check": 1},
)
print(resp.text)

import { ScrapeUnblockerClient } from 'scrapeunblocker';

const su = new ScrapeUnblockerClient({ apiKey: process.env.SU_API_KEY });

const results = await su.serpApi({ keyword: 'web scraping api', pagesToCheck: 1 });
console.log(results);

Las peticiones son POST y sus parámetros van en la query string. El renderizado en navegador siempre ocurre: no hay ningún flag que activar.

Leer la documentación

Scrapers relacionados