Suchmaschinen

ChatGPT Scraper

chatgpt.com

ChatGPT wird über einen eigenen Plugin-Endpoint bedient statt über den generischen Seitenabruf. Gib ihm einen Prompt - die Frage, die deine Kunden eintippen würden, etwa 'beste CRM-Software für kleine Unternehmen' oder 'lohnt sich HubSpot' - und optional das Land, aus dem gefragt werden soll. Das Plugin öffnet in einem echten Browser eine neue, nicht angemeldete ChatGPT-Sitzung, wartet, bis ChatGPT fertig geschrieben hat, und liefert die Antwort fertig aufbereitet: als reinen Text und als Markdown, jede Quellen-Pille, die ChatGPT an eine Aussage hängt (Name und Domain der Website der Quelle, wie viele weitere Quellen die Pille bündelt, und der Text der Antwort, den sie belegt), die Links in der Antwort mit ihren echten URLs, die Liste der zitierten oder verlinkten Websites und ob ChatGPT im Web gesucht hat. Nicht angemeldet zeigt ChatGPT die vollständige URL einer zitierten Seite erst beim Überfahren der Pille, deshalb tragen Zitate die Website und Domain statt der Seiten-URL, und es zeigt nicht, welches Modell geantwortet hat. Die Oberfläche von ChatGPT folgt dem Standort des Besuchers, die Antwort der Sprache des Prompts. Jeder Aufruf startet eine neue Unterhaltung und dauert 15-60 Sekunden, und die Antworten auf denselben Prompt variieren wie bei Menschen auch - Monitoring heißt also, dieselben Prompts regelmäßig zu stellen und zu vergleichen. Ohne OpenAI-Konto oder Cookies.

Was Sie extrahieren können

• Die fertige Antwort als reiner Text und als Markdown (Überschriften, Listen, Tabellen und Bilder, wie ChatGPT sie geschrieben hat)
• Zitate: Name und Domain der Website der Quelle hinter jeder Quellen-Pille, wie viele weitere Quellen sie bündelt, und der Text der Antwort, den sie belegt
• Links in der Antwort: Titel, URL (ohne Tracking-Parameter) und Domain
• Jede zitierte oder verlinkte Website, einmal, in der Reihenfolge des ersten Auftretens
• Ob ChatGPT für die Antwort im Web gesucht hat
• Aus einem gewählten Land fragen: lokale Ergebnisse folgen ihm

Dedizierte Endpoints

So wird es gescrapt

curl -X POST \
  -H "X-ScrapeUnblocker-Key: $SU_API_KEY" \
  "https://api.scrapeunblocker.com/ai/chatgpt?prompt=best%20CRM%20software%20for%20small%20business&country=US"

import requests

resp = requests.post(
    "https://api.scrapeunblocker.com/ai/chatgpt",
    headers={"X-ScrapeUnblocker-Key": SU_API_KEY},
    params={"prompt": "best CRM software for small business", "country": "US"},
)
print(resp.text)

import { ScrapeUnblockerClient } from 'scrapeunblocker';

const su = new ScrapeUnblockerClient({ apiKey: process.env.SU_API_KEY });

const answer = await su.chatgpt('best CRM software for small business', {
  country: 'US',
});
console.log(answer);

Requests sind POST und übergeben ihre Parameter im Query-String. Browser-Rendering findet immer statt - dafür gibt es kein Flag.

Beispielantwort

{
  "url": "https://chatgpt.com/",
  "country": "US",
  "prompt": "is HubSpot worth it for a 5 person team",
  "answer": "Yes, HubSpot can absolutely be worth it for a 5-person team - but I’d start small and avoid paying for features you don’t need.

For a team that size, the biggest benefit isn't having a sophisticated  ...",
  "answerMarkdown": "Yes, HubSpot can absolutely be worth it for a 5-person team - but I’d start small and avoid paying for features you don’t need.

For a team that size, the biggest benefit isn't having a sophisticated  ...",
  "citations": [
    {
      "position": 1,
      "siteName": "HubSpot",
      "domain": "hubspot.com",
      "moreSources": 1,
      "citedText": "HubSpot's published pricing has a significant difference between basic CRM access and advanced marketing or sales tools. ..."
    },
    {
      "position": 2,
      "siteName": "Legal HubSpot",
      "domain": "legal.hubspot.com",
      "moreSources": 2,
      "citedText": "USD estimates based on published pricing and promotional rates; verify your exact checkout quote, seat requirements, bil ..."
    }
  ],
  "links": [
    {
      "position": 1,
      "title": "HubSpot's official pricing page",
      "url": "https://www.hubspot.com/pricing/suite",
      "domain": "hubspot.com"
    }
  ],
  "sources": [
    {
      "position": 1,
      "siteName": "HubSpot",
      "domain": "hubspot.com"
    },
    {
      "position": 2,
      "siteName": "Legal HubSpot",
      "domain": "legal.hubspot.com"
    }
  ],
  "webSearch": true,
  "model": null,
  "conversationId": "6ae39f2c-22f8-83ea-9559-a718945f4034"
}

API-Dokumentation lesen

Häufige Fragen

Ähnliche Scraper

ChatGPT sowie weitere Namen und Marken von chatgpt.com gehören ihrem Inhaber und werden hier nur verwendet, um die Website zu bezeichnen, mit der diese API arbeitet. ScrapeUnblocker ist ein unabhängiger Dienst und steht in keiner Verbindung zum Inhaber von chatgpt.com, der ScrapeUnblocker weder unterstützt noch sponsert.