Suchmaschinen

Google Search

google.com

Google läuft über einen dedizierten Endpoint statt über den generischen Seitenabruf, denn SERP-Scraping ist nur mit fester Geo- und Sprachzuordnung aussagekräftig. Sie fragen Ergebnisse für ein bestimmtes Land und eine bestimmte Sprache an und erhalten genau das, was ein Suchender dort sieht.

Was Sie extrahieren können

• Organische Ergebnisse mit Position, Titel, URL und Snippet
• Bezahlte Ergebnisse und Shopping-Einheiten
• Featured Snippet und People-also-ask-Blöcke
• Local-Pack-Einträge
• Nach Geo und Sprache fixierte Ergebnismengen

So wird es gescrapt

curl -X POST \
  -H "X-ScrapeUnblocker-Key: $SU_API_KEY" \
  "https://api.scrapeunblocker.com/serpApi?keyword=web%20scraping%20api&pages_to_check=1"

import requests

resp = requests.post(
    "https://api.scrapeunblocker.com/serpApi",
    headers={"X-ScrapeUnblocker-Key": SU_API_KEY},
    params={"keyword": "web scraping api", "pages_to_check": 1},
)
print(resp.text)

import { ScrapeUnblockerClient } from 'scrapeunblocker';

const su = new ScrapeUnblockerClient({ apiKey: process.env.SU_API_KEY });

const results = await su.serpApi({ keyword: 'web scraping api', pagesToCheck: 1 });
console.log(results);

Requests sind POST und übergeben ihre Parameter im Query-String. Browser-Rendering findet immer statt - dafür gibt es kein Flag.

API-Dokumentation lesen

Ähnliche Scraper