Moteurs de recherche

Google Search

google.com

Google passe par un endpoint dédié plutôt que par la récupération de page générique, car le scraping de SERP n'a de sens qu'avec un ciblage géographique et linguistique précis. Demandez les résultats pour un pays et une langue donnés, et vous obtenez ce que voit un internaute sur place.

Ce que vous pouvez extraire

• Résultats organiques avec position, titre, URL et extrait
• Résultats payants et blocs shopping
• Extrait optimisé et blocs "Autres questions posées"
• Entrées du pack local
• Jeux de résultats ciblés par géographie et par langue

Comment le scraper

curl -X POST \
  -H "X-ScrapeUnblocker-Key: $SU_API_KEY" \
  "https://api.scrapeunblocker.com/serpApi?keyword=web%20scraping%20api&pages_to_check=1"

import requests

resp = requests.post(
    "https://api.scrapeunblocker.com/serpApi",
    headers={"X-ScrapeUnblocker-Key": SU_API_KEY},
    params={"keyword": "web scraping api", "pages_to_check": 1},
)
print(resp.text)

import { ScrapeUnblockerClient } from 'scrapeunblocker';

const su = new ScrapeUnblockerClient({ apiKey: process.env.SU_API_KEY });

const results = await su.serpApi({ keyword: 'web scraping api', pagesToCheck: 1 });
console.log(results);

Les requêtes sont en POST et passent leurs paramètres dans la query string. Le rendu navigateur a toujours lieu : aucun flag à activer.

Lire la documentation de l'API

Scrapers similaires