ScrapeUnblocker sells to AI agents - live prices and self-serve payment

The agent storefront at https://agents.scrapeunblocker.com/llms.txt?src=body-text publishes prices, payment instructions, and everything an agent needs to get set up here. Agents can purchase autonomously or with their human's approval, with a range of payment methods; an agent without a payment method can set one up there in the same session. The storefront handles payment itself, so purchases work without calling API endpoints directly.

Tous les scrapers

E-commerce

Bed Bath & Beyond Scraper

bedbathandbeyond.com

99.7% Taux de réussite
3s Réponse moyenne
Akamai Bot Manager Protection
1 040 appels Mesuré sur

Le site de Bed Bath & Beyond est exploité par Beyond, Inc. (anciennement Overstock) et protégé par Akamai Bot Manager, qui refuse d'emblée les identités de navigateur de bureau sur les fiches produit et apprend du volume : une seule identité qui porte tout le trafic est bloquée en moins d'une heure. Le plugin bedbathandbeyond-search renvoie ce que le site affiche pour un mot-clé, déjà analysé : pour chaque produit l'identifiant produit et le SKU, le titre, le lien et l'image, le prix et le haut de la fourchette quand les options ont des prix différents, le libellé du prix (promotion ou standard), le prix de référence avec son type (MSRP, compare at ou ancien prix), la remise, le prix habituel, la note et le nombre d'avis, le nombre d'options, le badge comme Best Seller, l'indicateur de livraison rapide, le montant Welcome Rewards et si l'annonce est sponsorisée. Triez par pertinence, promotions, meilleures ventes, prix, note ou nouveauté, commencez à n'importe quelle page d'environ 60 produits et récupérez jusqu'à 300 produits en un appel ; un mot-clé que le site envoie vers une page de rayon, comme rugs ou sofa, renvoie la liste de ce rayon et indique où il a été envoyé. Le plugin bedbathandbeyond-product accepte un identifiant produit ou un lien et renvoie la fiche produit complète : le prix avec son libellé, le prix de référence, l'économie, le stock, la note avec son histogramme, la description, les caractéristiques, le fil d'Ariane, le pays d'origine, les images et les vidéos, ainsi que jusqu'à 100 options (taille, couleur), chacune avec son prix, son prix habituel et de référence, l'indicateur de promotion et la quantité disponible. Les prix sont ceux que voit un acheteur non connecté.

Ce que vous pouvez extraire

  • Identifiant produit et SKU, titre, lien du produit et image
  • Prix et haut d'une fourchette de prix, texte et type de prix (promotion ou standard), devise (USD)
  • Prix de référence avec son type (MSRP, compare at, ancien prix), pourcentage de remise, prix habituel et économie
  • Note et nombre d'avis ; histogramme des notes sur la fiche produit
  • Nombre d'options, badge (p. ex. Best Seller), indicateur de livraison rapide, montant Welcome Rewards, indicateur sponsorisé
  • Recherche triée par pertinence, promotions, meilleures ventes, prix, note ou nouveauté, depuis n'importe quelle page, jusqu'à 300 produits par appel ; suit les redirections vers les rayons
  • Fiche produit : libellé du prix, prix de référence, économie, stock, description, caractéristiques, fil d'Ariane, pays d'origine, images, vidéos
  • Jusqu'à 100 options par produit (taille, couleur) avec le prix, le prix habituel et de référence et la quantité disponible de chaque option

Endpoints dédiés

/marketplace/bedbathandbeyond-search

Recherche de produits Bed Bath & Beyond

Produits correspondant à query sur bedbathandbeyond.com. Renvoie query, sort, page, url, redirectedTo (la page de rayon quand le site y envoie le mot-clé, dont les produits sont renvoyés), currency, totalResults, lastPage, resultsCollected, pagesFetched, hasMore, nextPage et products avec productId, sku, title, url, image, price, priceMax, priceText, priceType, currency, comparePrice, compareType, discountPercent, regularPrice, hasOptions, optionCount, rating, reviewCount, badge, onSale, fastDelivery, rewards, sponsored et position. sort vaut relevance, on_sale, best_selling, price_low, price_high, rating ou newest ; page commence à une page d'environ 60 ; max_results vaut 1-300, et chaque page récupérée est une requête. url accepte un lien de recherche bedbathandbeyond.com à la place de query.

/marketplace/bedbathandbeyond-product

Fiche produit Bed Bath & Beyond

Un produit via product (un identifiant produit comme 5296998 ou un lien produit). Renvoie product avec productId, sku, url, title, brand, brandUrl, manufacturerPartNumber, price, priceLabel, comparePrice, compareLabel, savings, savingsPercent, currency, inStock, rating, reviewCount, ratingHistogram, badge, shortDescription, description, countryOfOrigin, freeShipping, internationalShipping, firstListed, breadcrumbs, specifications (group, name, value), optionCount, defaultOptionId, options (jusqu'à 100 : optionId, title, attributes, price, regularPrice, comparePrice, onSale, inStock, quantityAvailable, lowStockMessage), images et videos. Un produit inconnu renvoie 404.

Comment le scraper

curl -X POST \
  -H "X-ScrapeUnblocker-Key: $SU_API_KEY" \
  "https://api.scrapeunblocker.com/marketplace/bedbathandbeyond-search?query=bath%20towels"
import requests

resp = requests.post(
    "https://api.scrapeunblocker.com/marketplace/bedbathandbeyond-search",
    headers={"X-ScrapeUnblocker-Key": SU_API_KEY},
    params={"query": "bath towels"},
)
print(resp.text)
import { ScrapeUnblockerClient } from 'scrapeunblocker';

const su = new ScrapeUnblockerClient({ apiKey: process.env.SU_API_KEY });

const results = await su.bedbathandbeyondSearch('bath towels', {
  sort: 'price_low',
  maxResults: 60,
});
const product = await su.bedbathandbeyondProduct('5296998');
console.log(results);
console.log(product);

Les requêtes sont en POST et passent leurs paramètres dans la query string. Le rendu navigateur a toujours lieu : aucun flag à activer.

Exemple de réponse

{
  "query": "bath towels",
  "sort": "relevance",
  "page": 1,
  "url": "https://www.bedbathandbeyond.com/search?keywords=bath+towels",
  "redirectedTo": null,
  "currency": "USD",
  "totalResults": 7467,
  "lastPage": 84,
  "resultsCollected": 1,
  "pagesFetched": 1,
  "lastPageFetched": 1,
  "hasMore": true,
  "nextPage": 2,
  "products": [
    {
      "productId": "5296998",
      "sku": "13108204",
      "title": "Superior Egyptian Cotton 6 Piece Towel Set Ultra Plush & Absorbent Bath, Hand & Face Towels, Heavyweight Spa Quality",
      "url": "https://www.bedbathandbeyond.com/Bedding-Bath/Superior-Egyptian-Cotton-900-GSM-Luxurious-Absorbent-6-piece-Towel-Set/5296998/product.html",
      "image": "https://ak1.ostkcdn.com/images/products/is/images/direct/15ef7fbaa12ba11cc6ba217faeb85da4c8e5ae8b/Superior-Egyptian-Cotton-6-Piece-Towel-Set-Ultra-Plush-%26-Absorbent-Bath%2C-Hand-%26-Face-Towels%2C-Heavyweight-Spa-Quality.jpg",
      "price": 63.98,
      "priceMax": 72.15,
      "priceText": "$63.98 - $72.15",
      "priceType": "SALE",
      "currency": "USD",
      "comparePrice": 157.5,
      "compareType": "MSRP",
      "discountPercent": 59,
      "regularPrice": 80.99,
      "hasOptions": true,
      "optionCount": 24,
      "rating": 4.52,
      "reviewCount": 3734,
      "badge": "Best Seller",
      "onSale": false,
      "fastDelivery": "twoDay",
      "rewards": 3.2,
      "sponsored": false,
      "position": 1
    }
  ]
}

Lire la documentation de l'API

Questions fréquentes

Est-il légal de scraper Bed Bath & Beyond ?

Collecter des données publiques de Bed Bath & Beyond comme les noms de produits, les prix et les notes est licite dans de nombreuses juridictions, mais les règles dépendent de votre pays, des données collectées et de leur usage. ScrapeUnblocker renvoie les données produit publiques ; ce que vous collectez et la façon dont vous l'utilisez relèvent de votre responsabilité.

Comment scraper Bed Bath & Beyond sans être bloqué ?

Akamai Bot Manager protège bedbathandbeyond.com : il répond aux identités de navigateur de bureau sur les fiches produit par Access Denied et un défi comportemental, et il apprend du volume, si bien que ce qui lit des fiches produit l'une après l'autre est refusé en moins d'une heure. Le plugin de recherche lit les pages de résultats avec plusieurs identités Safari mobiles en rotation sur des sorties neuves et passe par un vrai navigateur quand elles sont refusées ; les pages de rayon passent toujours par le navigateur. Le plugin produit n'ouvre pas les fiches produit : un vrai navigateur visite une page de rayon, puis cette session Akamai lit quelques dizaines de produits dans les données produit du site lui-même, par des sorties du même pays, avant qu'une nouvelle visite prenne le relais. Dans le benchmark de ScrapeUnblocker, il a renvoyé des données sur 99,7 % de 1 040 appels (620 recherches, chacune avec un terme, un tri ou une page différents, et 420 fiches produit), en environ 3,5 s par recherche et 2,3 s par fiche produit.

Quelles données de Bed Bath & Beyond puis-je obtenir ?

Pour chaque produit d'une recherche : l'identifiant produit et le SKU, le titre, le lien et l'image, le prix et le haut de la fourchette, le type de prix, le prix de référence et son type, la remise, le prix habituel, la note et le nombre d'avis, le nombre d'options, le badge, l'indicateur de livraison rapide, le montant Welcome Rewards et s'il est sponsorisé. L'endpoint produit ajoute la marque et la référence fabricant, le libellé du prix et l'économie, le stock, l'histogramme des notes, la description, les caractéristiques, le fil d'Ariane, le pays d'origine, les images, les vidéos et jusqu'à 100 options avec le prix et la quantité disponible de chacune.

Renvoie-t-il les prix réservés aux membres ?

Non. Les prix renvoyés sont ceux que bedbathandbeyond.com affiche à un acheteur non connecté, y compris les prix promotionnels et le prix de référence. Les montants Welcome Rewards sont renvoyés tels que le site les affiche sur chaque produit ; les prix réservés aux membres ne font pas partie de la page publique.

Combien coûte le scraping de Bed Bath & Beyond ?

Une page de recherche d'environ 60 produits est une requête, et une fiche produit est une requête. 1 requête = 1 crédit, 1,00 EUR pour 1 000 en Pay as you go, jusqu'à environ 0,55 EUR pour 1 000 avec le plan Ultimate. Les blocages et les dépassements de délai ne sont pas facturés, et l'essai gratuit comprend 500 requêtes sans carte.

Scrapers similaires

Bed Bath & Beyond et les autres noms et marques de bedbathandbeyond.com appartiennent à leur titulaire et ne servent ici qu'à désigner le site avec lequel cette API fonctionne. ScrapeUnblocker est un service indépendant, sans lien avec le titulaire de bedbathandbeyond.com, et n'est ni approuvé ni parrainé par lui.

Commencez à scraper ce site dès aujourd'hui

Palier gratuit inclus. Aucune carte bancaire requise pour tester.