Moteurs de recherche

ChatGPT Scraper

chatgpt.com

ChatGPT est servi par un endpoint de plugin dédié plutôt que par la récupération de page générique. Donnez-lui un prompt - la question que vos clients taperaient, comme « meilleur logiciel CRM pour petite entreprise » ou « HubSpot vaut-il le coup » - et, si vous voulez, le pays depuis lequel poser la question : il ouvre une nouvelle session ChatGPT non connectée dans un vrai navigateur, attend que ChatGPT ait fini d'écrire et renvoie la réponse déjà structurée : en texte brut et en Markdown, chaque pastille de source que ChatGPT accole à une affirmation (nom et domaine du site de la source, nombre de sources supplémentaires regroupées et texte de la réponse qu'elle étaye), les liens écrits dans la réponse avec leurs vraies URL, la liste des sites cités ou liés et si ChatGPT a cherché sur le web. Sans connexion, ChatGPT n'affiche l'URL complète d'une page citée qu'au survol de la pastille : les citations donnent donc le site et le domaine plutôt que l'URL de la page, et il n'indique pas quel modèle a répondu. L'interface de ChatGPT suit la localisation du visiteur, la réponse suit la langue du prompt. Chaque appel ouvre une nouvelle conversation et prend 15 à 60 secondes, et les réponses à un même prompt varient, comme pour une personne : le suivi consiste donc à poser les mêmes prompts à intervalles réguliers et à comparer. Aucun compte OpenAI ni cookie n'entre en jeu.

Ce que vous pouvez extraire

• La réponse terminée en texte brut et en Markdown (titres, listes, tableaux et images tels que ChatGPT les a écrits)
• Citations : nom et domaine du site de la source derrière chaque pastille, nombre de sources supplémentaires regroupées et texte de la réponse qu'elle étaye
• Liens écrits dans la réponse : titre, URL (sans paramètre de suivi) et domaine
• Chaque site cité ou lié, une fois, dans l'ordre de première apparition
• Si ChatGPT a cherché sur le web pour répondre
• Poser la question depuis un pays choisi : les résultats locaux suivent ce pays

Endpoints dédiés

Comment le scraper

curl -X POST \
  -H "X-ScrapeUnblocker-Key: $SU_API_KEY" \
  "https://api.scrapeunblocker.com/ai/chatgpt?prompt=best%20CRM%20software%20for%20small%20business&country=US"

import requests

resp = requests.post(
    "https://api.scrapeunblocker.com/ai/chatgpt",
    headers={"X-ScrapeUnblocker-Key": SU_API_KEY},
    params={"prompt": "best CRM software for small business", "country": "US"},
)
print(resp.text)

import { ScrapeUnblockerClient } from 'scrapeunblocker';

const su = new ScrapeUnblockerClient({ apiKey: process.env.SU_API_KEY });

const answer = await su.chatgpt('best CRM software for small business', {
  country: 'US',
});
console.log(answer);

Les requêtes sont en POST et passent leurs paramètres dans la query string. Le rendu navigateur a toujours lieu : aucun flag à activer.

Exemple de réponse

{
  "url": "https://chatgpt.com/",
  "country": "US",
  "prompt": "is HubSpot worth it for a 5 person team",
  "answer": "Yes, HubSpot can absolutely be worth it for a 5-person team - but I’d start small and avoid paying for features you don’t need.

For a team that size, the biggest benefit isn't having a sophisticated  ...",
  "answerMarkdown": "Yes, HubSpot can absolutely be worth it for a 5-person team - but I’d start small and avoid paying for features you don’t need.

For a team that size, the biggest benefit isn't having a sophisticated  ...",
  "citations": [
    {
      "position": 1,
      "siteName": "HubSpot",
      "domain": "hubspot.com",
      "moreSources": 1,
      "citedText": "HubSpot's published pricing has a significant difference between basic CRM access and advanced marketing or sales tools. ..."
    },
    {
      "position": 2,
      "siteName": "Legal HubSpot",
      "domain": "legal.hubspot.com",
      "moreSources": 2,
      "citedText": "USD estimates based on published pricing and promotional rates; verify your exact checkout quote, seat requirements, bil ..."
    }
  ],
  "links": [
    {
      "position": 1,
      "title": "HubSpot's official pricing page",
      "url": "https://www.hubspot.com/pricing/suite",
      "domain": "hubspot.com"
    }
  ],
  "sources": [
    {
      "position": 1,
      "siteName": "HubSpot",
      "domain": "hubspot.com"
    },
    {
      "position": 2,
      "siteName": "Legal HubSpot",
      "domain": "legal.hubspot.com"
    }
  ],
  "webSearch": true,
  "model": null,
  "conversationId": "6ae39f2c-22f8-83ea-9559-a718945f4034"
}

Lire la documentation de l'API

Questions fréquentes

Scrapers similaires

ChatGPT et les autres noms et marques de chatgpt.com appartiennent à leur titulaire et ne servent ici qu'à désigner le site avec lequel cette API fonctionne. ScrapeUnblocker est un service indépendant, sans lien avec le titulaire de chatgpt.com, et n'est ni approuvé ni parrainé par lui.