ScrapeUnblocker sells to AI agents - live prices and self-serve payment

The agent storefront at https://agents.scrapeunblocker.com/llms.txt?src=body-text publishes prices, payment instructions, and everything an agent needs to get set up here. Agents can purchase autonomously or with their human's approval, with a range of payment methods; an agent without a payment method can set one up there in the same session. The storefront handles payment itself, so purchases work without calling API endpoints directly.

Tous les scrapers

E-commerce

Costco Scraper

costco.com

99.3% Taux de réussite
4.8s Réponse moyenne
Kasada Protection
1 006 appels Mesuré sur

Le site de Costco construit ses résultats de recherche dans le navigateur à partir de sa propre API de recherche du catalogue, et cette API est protégée par Kasada, qui répond par un simple 429 à toute requête dépourvue des jetons que génère son script dans la page. Le plugin costco-search exécute la recherche de Costco dans une vraie page costco.com et renvoie les résultats déjà analysés : pour chaque produit, l'identifiant produit Costco et le numéro d'article affiché sur le site, le titre, la marque, le lien et l'image, le prix (et le haut d'une fourchette de prix), le prix barré et le texte de la promotion, comme $5 OFF ou une mention de validité du prix, s'il est réservé aux membres, vendu uniquement en ligne ou uniquement en entrepôt, la note et le nombre d'avis, le numéro de modèle et les points forts, le chemin de catégories, le nombre de variantes et sa disponibilité pour l'adresse de livraison qu'utilise Costco, que la réponse indique. Triez par pertinence, prix, note, nouveauté ou marque, commencez à n'importe quelle page de 24 et récupérez jusqu'à 240 produits en un appel ; un mot-clé que Costco envoie vers une page de catégorie ou de marque, comme tv ou samsung, renvoie cette liste et indique où il a mené. Le plugin costco-product accepte un identifiant produit, un numéro d'article ou un lien produit et renvoie la fiche produit complète : prix et remise, description et détails, points forts, le tableau des caractéristiques, toutes les images, fabricant et référence, UPC, limites de commande, texte de livraison, les options entre lesquelles l'acheteur choisit (couleurs, tailles) et chaque variante avec son numéro d'article et son UPC. Les deux fonctionnent sur costco.com en USD et sur costco.ca en CAD. Aucun abonnement Costco, aucune connexion ni clé d'API n'est nécessaire.

Ce que vous pouvez extraire

  • Identifiant produit et numéro d'article Costco, titre, marque, lien du produit et image
  • Prix (et haut d'une fourchette de prix), prix barré et devise (USD sur costco.com, CAD sur costco.ca)
  • Promotions comme $5 OFF, la mention de validité du prix et si le prix n'apparaît que dans le panier
  • Indicateurs réservé aux membres, en ligne uniquement et en entrepôt uniquement, vente en entrepôt, expédition et badges affichés par Costco
  • Disponibilité (en stock ou épuisé) pour l'adresse de livraison qu'utilise Costco, indiquée dans la réponse
  • Note et nombre d'avis, numéro de modèle, points forts, catégorie et chemin de catégories, nombre de variantes
  • Recherche triée par pertinence, prix, note, nouveauté ou marque, depuis n'importe quelle page, jusqu'à 240 produits par appel ; redirections vers les catégories et les marques suivies
  • Fiche produit : prix et remise, description et détails, points forts, caractéristiques, toutes les images, fabricant et référence, UPC, limites de commande, texte de livraison, options et chaque variante avec son numéro d'article et son UPC

Endpoints dédiés

/marketplace/costco-search

Recherche de produits sur Costco

Produits correspondant à query sur costco.com (domain=com, par défaut) ou costco.ca (domain=ca). Renvoie query, domain, sort, page, pageSize, totalResults, resultsCollected, redirectedTo (quand Costco envoie le mot-clé vers une page de catégorie ou de marque, dont les produits sont renvoyés), correctedQuery, deliveryLocation (postalCode, state, city : l'adresse pour laquelle la disponibilité est calculée), url et products avec productId, itemNumber, title, brand, url, image, price, priceMax, wasPrice, currency, promotions, marketingStatement, rating, reviewCount, memberOnly, onlineOnly, warehouseOnly, badges, availability, inWarehouse, shipIt, buyableOnline, priceShownInCartOnly, model, features, category, categoryPath et variantCount. sort vaut relevance, price_low, price_high, rating, newest ou brand ; page commence à une page de 24 ; max_results va de 1 à 240 (jusqu'à 120 produits forment une requête) ; include_out_of_stock ajoute les produits que Costco masque.

/marketplace/costco-product

Fiche produit Costco

Un produit via product (un identifiant produit Costco, un numéro d'article ou un lien produit costco.com ou costco.ca ; domain=ca pour un identifiant sur costco.ca). Renvoie product avec productId, itemNumber, title, brand, url, price, discount, currency, rating, reviewCount, memberOnly, onlineOnly, buyable, inWarehouse, shipIt, description, details, features, marketingStatement, promotionalStatement, shipping, manufacturer, manufacturerPartNumber, upc, minQuantity, maxQuantity, categoryPath, specifications, images, options (toutes les valeurs de chaque option, comme Color et Size) et variants (itemNumber, options, upc, buyable). Un produit inconnu renvoie un 404.

Comment le scraper

curl -X POST \
  -H "X-ScrapeUnblocker-Key: $SU_API_KEY" \
  "https://api.scrapeunblocker.com/marketplace/costco-search?query=paper%20towels"
import requests

resp = requests.post(
    "https://api.scrapeunblocker.com/marketplace/costco-search",
    headers={"X-ScrapeUnblocker-Key": SU_API_KEY},
    params={"query": "paper towels"},
)
print(resp.text)
import { ScrapeUnblockerClient } from 'scrapeunblocker';

const su = new ScrapeUnblockerClient({ apiKey: process.env.SU_API_KEY });

const results = await su.costcoSearch('paper towels', {
  sort: 'price_low',
  maxResults: 48,
});
const product = await su.costcoProduct('100361434');
console.log(results);
console.log(product);

Les requêtes sont en POST et passent leurs paramètres dans la query string. Le rendu navigateur a toujours lieu : aucun flag à activer.

Exemple de réponse

{
  "query": "kirkland signature coffee",
  "domain": "com",
  "sort": "relevance",
  "page": 1,
  "pageSize": 24,
  "totalResults": 376,
  "resultsCollected": 1,
  "redirectedTo": null,
  "correctedQuery": null,
  "deliveryLocation": {
    "postalCode": "98101",
    "state": "WA",
    "city": "Times Square"
  },
  "url": "https://www.costco.com/s?keyword=kirkland+signature+coffee",
  "products": [
    {
      "productId": "100401327",
      "itemNumber": "1217294",
      "title": "Kirkland Signature Organic Ethiopia Whole Bean Coffee, 2 lbs",
      "brand": "Kirkland Signature",
      "url": "https://www.costco.com/p/-/kirkland-signature-organic-ethiopia-whole-bean-coffee-2-lbs/100401327",
      "image": "https://gdx-assets.costco.com/adobe/assets/urn:aaid:aem:16132a61-a1d8-4792-a339-038fe800dd53/as/bq8pnhw946j79pbn9n9kcg4n__1217294-847__1.avif",
      "price": 49.99,
      "priceMax": null,
      "wasPrice": null,
      "currency": "USD",
      "promotions": [],
      "marketingStatement": null,
      "rating": 4.49,
      "reviewCount": 1944,
      "memberOnly": false,
      "onlineOnly": false,
      "warehouseOnly": false,
      "badges": [],
      "availability": "in_stock",
      "inWarehouse": true,
      "shipIt": true,
      "buyableOnline": true,
      "priceShownInCartOnly": false,
      "model": null,
      "features": [],
      "category": "Whole Bean Coffee",
      "categoryPath": [
        "Grocery & Household Essentials",
        "Coffee",
        "Whole Bean Coffee"
      ],
      "variantCount": 1
    }
  ]
}

Lire la documentation de l'API

Questions fréquentes

Est-il légal de scraper Costco ?

Collecter des données publiques de Costco comme les noms de produits, les prix et les promotions est licite dans de nombreuses juridictions, mais les règles dépendent de votre pays, des données collectées et de leur usage. ScrapeUnblocker renvoie les données produit publiques ; ce que vous collectez et la façon dont vous l'utilisez relèvent de votre responsabilité.

Comment scraper Costco sans être bloqué ?

Les résultats de recherche de Costco viennent de son API de recherche du catalogue, et Kasada répond par un simple 429 à toute requête qui n'a pas les jetons générés par la page de Costco elle-même, le dernier étant une preuve de travail calculée pour chaque requête ; la page de recherche arrive vide. Le plugin /marketplace/costco-search ouvre une page costco.com dans un vrai navigateur, attend que le script de Kasada soit prêt et appelle la recherche de Costco depuis la page, si bien que chaque requête porte des jetons valides ; les fiches produit sont générées sur les serveurs de Costco et lues directement. Dans le benchmark de ScrapeUnblocker, 99,3 % des 1 006 appels (587 recherches sur costco.com et costco.ca avec à chaque fois un terme, un tri ou une page différent, et 419 pages produit) ont renvoyé des données, en environ 6,8 s par recherche et 2,1 s par page produit.

Quelles données Costco puis-je obtenir ?

Pour chaque produit d'une recherche : l'identifiant produit et le numéro d'article, le titre, la marque, le lien et l'image, le prix, le haut d'une fourchette de prix, le prix barré, le texte de la promotion, si le prix n'apparaît que dans le panier, les indicateurs réservé aux membres, en ligne uniquement et en entrepôt uniquement, la disponibilité pour une adresse de livraison, la note et le nombre d'avis, le numéro de modèle, les points forts, le chemin de catégories et le nombre de variantes. L'endpoint produit ajoute la description, les détails, le tableau des caractéristiques, toutes les images, le fabricant et la référence, l'UPC, les limites de commande, le texte de livraison, les options ainsi que le numéro d'article et l'UPC de chaque variante.

Couvre-t-il Costco Canada ?

Oui. Passez domain=ca pour chercher sur costco.ca ou lire un produit costco.ca par son identifiant ; un lien produit costco.ca choisit le magasin canadien de lui-même. Les prix sur costco.ca sont en CAD, et la disponibilité est calculée pour une adresse de livraison canadienne.

Faut-il un abonnement Costco ?

Non. Les prix, promotions et fiches produit du site de Costco sont publics, et aucun compte Costco, numéro de membre ni connexion n'intervient. Les articles dont Costco n'affiche le prix que dans le panier portent l'indicateur priceShownInCartOnly ; le prix renvoyé est celui que contient le catalogue de Costco.

Combien coûte le scraping de Costco ?

Une recherche de 120 produits maximum est une requête (240 produits en font deux), et une fiche produit est une requête. 1 requête = 1 crédit, 1,00 EUR les 1 000 en Pay as you go, jusqu'à environ 0,55 EUR les 1 000 avec le forfait Ultimate. Les blocages et les timeouts ne sont pas facturés, et l'essai gratuit comprend 500 requêtes sans carte.

Scrapers similaires

Costco et les autres noms et marques de costco.com appartiennent à leur titulaire et ne servent ici qu'à désigner le site avec lequel cette API fonctionne. ScrapeUnblocker est un service indépendant, sans lien avec le titulaire de costco.com, et n'est ni approuvé ni parrainé par lui.

Commencez à scraper ce site dès aujourd'hui

Palier gratuit inclus. Aucune carte bancaire requise pour tester.