Reisen

Tripadvisor Scraper

tripadvisor.com

Tripadvisor sitzt hinter DataDome, einem der härteren Anti-Bot-Stacks - eine einfache Anfrage bekommt eine Challenge, keine Seite. ScrapeUnblocker rendert die Seite in einem echten Browser, holt die DataDome-Clearance einmal und spielt sie über die gesamte Flotte wieder ein, sodass ein voller Lauf über 1.000 Aufrufe bei 99,6% bleibt, statt nach den ersten Hundert einzubrechen. Bewertungstexte, Ratings und Rankings kommen in der Seite zurück, wie sie jeder Besucher sieht.

Was Sie extrahieren können

• Name und Kategorie der Unterkunft, des Restaurants oder der Sehenswürdigkeit
• Gesamtbewertung, Anzahl der Bewertungen und Ranking-Position
• Text einzelner Bewertungen, Autor und Datum
• Preisniveau und Küchen- oder Ausstattungs-Tags
• Adresse, Koordinaten und Kontaktdaten

So wird es gescrapt

curl -X POST \
  -H "X-ScrapeUnblocker-Key: $SU_API_KEY" \
  "https://api.scrapeunblocker.com/getPageSource?url=https%3A%2F%2Fwww.tripadvisor.com%2F&parsed_data=true"

import requests

resp = requests.post(
    "https://api.scrapeunblocker.com/getPageSource",
    headers={"X-ScrapeUnblocker-Key": SU_API_KEY},
    params={"url": "https://www.tripadvisor.com/", "parsed_data": True},
)
print(resp.text)

import { ScrapeUnblockerClient } from 'scrapeunblocker';

const su = new ScrapeUnblockerClient({ apiKey: process.env.SU_API_KEY });

const results = await su.getPageSource({
  url: 'https://www.tripadvisor.com/',
  parsedData: true,
});
console.log(results);

Requests sind POST und übergeben ihre Parameter im Query-String. Browser-Rendering findet immer statt - dafür gibt es kein Flag.

API-Dokumentation lesen

Ähnliche Scraper