Buscadores

ChatGPT Scraper

chatgpt.com

ChatGPT se sirve a través de un endpoint de plugin dedicado en lugar de la obtención de página genérica. Dale un prompt - la pregunta que escribirían tus clientes, como 'mejor software CRM para pequeñas empresas' o '¿merece la pena HubSpot?' - y, si quieres, el país desde el que preguntar: abre una sesión nueva de ChatGPT sin sesión iniciada en un navegador real, espera a que ChatGPT termine de escribir y devuelve la respuesta ya estructurada: en texto plano y en Markdown, cada etiqueta de fuente que ChatGPT añade a una afirmación (nombre y dominio del sitio de la fuente, cuántas fuentes más agrupa y el texto de la respuesta que respalda), los enlaces escritos en la respuesta con sus URL reales, la lista de sitios citados o enlazados y si ChatGPT buscó en la web. Sin sesión iniciada, ChatGPT solo muestra la URL completa de una página citada al pasar el cursor por la etiqueta, así que las citas dan el sitio y el dominio en lugar de la URL de la página, y no indica qué modelo respondió. La interfaz de ChatGPT sigue la ubicación del visitante y la respuesta, el idioma del prompt. Cada llamada abre una conversación nueva y tarda 15-60 segundos, y las respuestas a un mismo prompt varían, igual que para las personas, así que monitorizar significa repetir los mismos prompts con regularidad y comparar. Sin cuenta de OpenAI ni cookies.

Qué puedes extraer

• La respuesta terminada en texto plano y en Markdown (títulos, listas, tablas e imágenes tal como las escribió ChatGPT)
• Citas: nombre y dominio del sitio de la fuente de cada etiqueta, cuántas fuentes más agrupa y el texto de la respuesta que respalda
• Enlaces escritos en la respuesta: título, URL (sin parámetro de seguimiento) y dominio
• Cada sitio citado o enlazado, una vez, en el orden en que aparece por primera vez
• Si ChatGPT buscó en la web para responder
• Preguntar desde un país elegido: los resultados locales lo siguen

Endpoints dedicados

Cómo rastrearlo

curl -X POST \
  -H "X-ScrapeUnblocker-Key: $SU_API_KEY" \
  "https://api.scrapeunblocker.com/ai/chatgpt?prompt=best%20CRM%20software%20for%20small%20business&country=US"

import requests

resp = requests.post(
    "https://api.scrapeunblocker.com/ai/chatgpt",
    headers={"X-ScrapeUnblocker-Key": SU_API_KEY},
    params={"prompt": "best CRM software for small business", "country": "US"},
)
print(resp.text)

import { ScrapeUnblockerClient } from 'scrapeunblocker';

const su = new ScrapeUnblockerClient({ apiKey: process.env.SU_API_KEY });

const answer = await su.chatgpt('best CRM software for small business', {
  country: 'US',
});
console.log(answer);

Las peticiones son POST y sus parámetros van en la query string. El renderizado en navegador siempre ocurre: no hay ningún flag que activar.

Ejemplo de respuesta

{
  "url": "https://chatgpt.com/",
  "country": "US",
  "prompt": "is HubSpot worth it for a 5 person team",
  "answer": "Yes, HubSpot can absolutely be worth it for a 5-person team - but I’d start small and avoid paying for features you don’t need.

For a team that size, the biggest benefit isn't having a sophisticated  ...",
  "answerMarkdown": "Yes, HubSpot can absolutely be worth it for a 5-person team - but I’d start small and avoid paying for features you don’t need.

For a team that size, the biggest benefit isn't having a sophisticated  ...",
  "citations": [
    {
      "position": 1,
      "siteName": "HubSpot",
      "domain": "hubspot.com",
      "moreSources": 1,
      "citedText": "HubSpot's published pricing has a significant difference between basic CRM access and advanced marketing or sales tools. ..."
    },
    {
      "position": 2,
      "siteName": "Legal HubSpot",
      "domain": "legal.hubspot.com",
      "moreSources": 2,
      "citedText": "USD estimates based on published pricing and promotional rates; verify your exact checkout quote, seat requirements, bil ..."
    }
  ],
  "links": [
    {
      "position": 1,
      "title": "HubSpot's official pricing page",
      "url": "https://www.hubspot.com/pricing/suite",
      "domain": "hubspot.com"
    }
  ],
  "sources": [
    {
      "position": 1,
      "siteName": "HubSpot",
      "domain": "hubspot.com"
    },
    {
      "position": 2,
      "siteName": "Legal HubSpot",
      "domain": "legal.hubspot.com"
    }
  ],
  "webSearch": true,
  "model": null,
  "conversationId": "6ae39f2c-22f8-83ea-9559-a718945f4034"
}

Leer la documentación

Preguntas frecuentes

Scrapers relacionados

ChatGPT y los demás nombres y marcas de chatgpt.com pertenecen a su titular y aquí se usan solo para identificar el sitio web con el que funciona esta API. ScrapeUnblocker es un servicio independiente: no está afiliado al titular de chatgpt.com ni cuenta con su respaldo o patrocinio.