E-Commerce
Costco Scraper
costco.com
Die Costco-Website baut ihre Suchergebnisse im Browser aus Costcos eigener Katalogsuch-API auf, und diese API steht hinter Kasada, das jede Anfrage ohne die Tokens, die sein Skript auf der Seite erzeugt, mit einem nackten 429 beantwortet. Das Plugin costco-search führt Costcos eigene Suche in einer echten costco.com-Seite aus und liefert die Ergebnisse fertig aufbereitet: für jedes Produkt die Costco-Produkt-ID und die auf der Seite angezeigte Artikelnummer, Titel, Marke, Link und Bild, den Preis (und das obere Ende einer Preisspanne), den Streichpreis und den Aktionstext wie $5 OFF oder einen Hinweis, bis wann der Preis gilt, ob es nur für Mitglieder, nur online oder nur im Lagerhaus erhältlich ist, Bewertung und Anzahl der Rezensionen, Modellnummer und wichtigste Merkmale, den Kategoriepfad, die Zahl der Varianten und die Verfügbarkeit für den Lieferort, den Costco verwendet und den die Antwort nennt. Sortiert wird nach Relevanz, Preis, Bewertung, Neuheit oder Marke, Start auf jeder 24er-Seite, bis zu 240 Produkte pro Aufruf; ein Suchbegriff, den Costco auf eine Kategorie- oder Markenseite schickt, etwa tv oder samsung, liefert diese Liste und sagt, wohin er führte. Das Plugin costco-product nimmt eine Produkt-ID, eine Artikelnummer oder einen Produktlink und liefert die vollständige Produktseite: Preis und Rabatt, Beschreibung und Details, Merkmale, die Spezifikationstabelle, alle Bilder, Hersteller und Teilenummer, UPC, Bestellgrenzen, Versandtext, die Optionen, zwischen denen Käufer wählen (Farben, Größen), und jede Variante mit Artikelnummer und UPC. Beides funktioniert auf costco.com in USD und auf costco.ca in CAD. Keine Costco-Mitgliedschaft, kein Login und kein API-Schlüssel nötig.
Was Sie extrahieren können
- Costco-Produkt-ID und Artikelnummer, Titel, Marke, Produktlink und Bild
- Preis (und oberes Ende einer Preisspanne), Streichpreis und Währung (USD auf costco.com, CAD auf costco.ca)
- Aktionen wie $5 OFF, der Hinweis zur Preisgültigkeit und ob der Preis nur im Warenkorb erscheint
- Kennzeichen für nur für Mitglieder, nur online und nur im Lagerhaus, Verkauf im Lagerhaus, Versand und die Plaketten, die Costco zeigt
- Verfügbarkeit (auf Lager oder ausverkauft) für den Lieferort, den Costco verwendet und den die Antwort nennt
- Bewertung und Anzahl der Rezensionen, Modellnummer, wichtigste Merkmale, Kategorie und Kategoriepfad, Zahl der Varianten
- Suche sortiert nach Relevanz, Preis, Bewertung, Neuheit oder Marke, ab jeder Seite, bis zu 240 Produkte pro Aufruf; Weiterleitungen auf Kategorien und Marken werden verfolgt
- Produktdetails: Preis und Rabatt, Beschreibung und Details, Merkmale, Spezifikationen, alle Bilder, Hersteller und Teilenummer, UPC, Bestellgrenzen, Versandtext, Optionen und jede Variante mit Artikelnummer und UPC
Dedizierte Endpoints
/marketplace/costco-search Costco-Produktsuche
Produkte zu query auf costco.com (domain=com, Standard) oder costco.ca (domain=ca). Liefert query, domain, sort, page, pageSize, totalResults, resultsCollected, redirectedTo (wenn Costco den Suchbegriff auf eine Kategorie- oder Markenseite schickt, deren Produkte geliefert werden), correctedQuery, deliveryLocation (postalCode, state, city: der Ort, für den die Verfügbarkeit gilt), url und products mit productId, itemNumber, title, brand, url, image, price, priceMax, wasPrice, currency, promotions, marketingStatement, rating, reviewCount, memberOnly, onlineOnly, warehouseOnly, badges, availability, inWarehouse, shipIt, buyableOnline, priceShownInCartOnly, model, features, category, categoryPath und variantCount. sort ist relevance, price_low, price_high, rating, newest oder brand; page beginnt bei einer 24er-Seite; max_results ist 1-240 (bis zu 120 Produkte sind eine Anfrage); include_out_of_stock ergänzt die Produkte, die Costco ausblendet.
/marketplace/costco-product Costco-Produktseite
Ein Produkt über product (eine Costco-Produkt-ID, eine Artikelnummer oder ein Produktlink von costco.com oder costco.ca; domain=ca für eine ID auf costco.ca). Liefert product mit productId, itemNumber, title, brand, url, price, discount, currency, rating, reviewCount, memberOnly, onlineOnly, buyable, inWarehouse, shipIt, description, details, features, marketingStatement, promotionalStatement, shipping, manufacturer, manufacturerPartNumber, upc, minQuantity, maxQuantity, categoryPath, specifications, images, options (alle Werte jeder Option, etwa Color und Size) und variants (itemNumber, options, upc, buyable). Ein unbekanntes Produkt ist ein 404.
So wird es gescrapt
curl -X POST \
-H "X-ScrapeUnblocker-Key: $SU_API_KEY" \
"https://api.scrapeunblocker.com/marketplace/costco-search?query=paper%20towels"import requests
resp = requests.post(
"https://api.scrapeunblocker.com/marketplace/costco-search",
headers={"X-ScrapeUnblocker-Key": SU_API_KEY},
params={"query": "paper towels"},
)
print(resp.text)import { ScrapeUnblockerClient } from 'scrapeunblocker';
const su = new ScrapeUnblockerClient({ apiKey: process.env.SU_API_KEY });
const results = await su.costcoSearch('paper towels', {
sort: 'price_low',
maxResults: 48,
});
const product = await su.costcoProduct('100361434');
console.log(results);
console.log(product); Requests sind POST und übergeben ihre Parameter im Query-String. Browser-Rendering findet immer statt - dafür gibt es kein Flag.
Beispielantwort
{
"query": "kirkland signature coffee",
"domain": "com",
"sort": "relevance",
"page": 1,
"pageSize": 24,
"totalResults": 376,
"resultsCollected": 1,
"redirectedTo": null,
"correctedQuery": null,
"deliveryLocation": {
"postalCode": "98101",
"state": "WA",
"city": "Times Square"
},
"url": "https://www.costco.com/s?keyword=kirkland+signature+coffee",
"products": [
{
"productId": "100401327",
"itemNumber": "1217294",
"title": "Kirkland Signature Organic Ethiopia Whole Bean Coffee, 2 lbs",
"brand": "Kirkland Signature",
"url": "https://www.costco.com/p/-/kirkland-signature-organic-ethiopia-whole-bean-coffee-2-lbs/100401327",
"image": "https://gdx-assets.costco.com/adobe/assets/urn:aaid:aem:16132a61-a1d8-4792-a339-038fe800dd53/as/bq8pnhw946j79pbn9n9kcg4n__1217294-847__1.avif",
"price": 49.99,
"priceMax": null,
"wasPrice": null,
"currency": "USD",
"promotions": [],
"marketingStatement": null,
"rating": 4.49,
"reviewCount": 1944,
"memberOnly": false,
"onlineOnly": false,
"warehouseOnly": false,
"badges": [],
"availability": "in_stock",
"inWarehouse": true,
"shipIt": true,
"buyableOnline": true,
"priceShownInCartOnly": false,
"model": null,
"features": [],
"category": "Whole Bean Coffee",
"categoryPath": [
"Grocery & Household Essentials",
"Coffee",
"Whole Bean Coffee"
],
"variantCount": 1
}
]
} Häufige Fragen
Ist Costco-Scraping legal?
Das Erheben öffentlich zugänglicher Costco-Daten wie Produktnamen, Preise und Aktionen ist in vielen Rechtsordnungen zulässig, die Regeln hängen aber von deinem Land, den erhobenen Daten und ihrer Verwendung ab. ScrapeUnblocker liefert die öffentlichen Produktdaten; was du erhebst und wie du es nutzt, liegt in deiner Verantwortung.
Wie scrape ich Costco, ohne blockiert zu werden?
Costcos Suchergebnisse stammen aus der Katalogsuch-API, und Kasada beantwortet jede Anfrage dorthin, der die Tokens fehlen, die Costcos eigene Seite erzeugt (das letzte davon ein für jede Anfrage berechneter Proof of Work), mit einem nackten 429; die Suchseite selbst kommt leer an. Das Plugin /marketplace/costco-search öffnet eine costco.com-Seite in einem echten Browser, wartet, bis das Kasada-Skript bereit ist, und ruft Costcos Suche aus der Seite heraus auf, sodass jede Anfrage gültige Tokens trägt; Produktseiten rendert Costco auf seinen Servern, sie werden direkt gelesen. Im Benchmark von ScrapeUnblocker kamen bei 99,3 % von 1.006 Calls (587 Suchen auf costco.com und costco.ca mit jeweils anderem Begriff, anderer Sortierung oder Seite und 419 Produktseiten) Daten zurück, etwa 6,8 s pro Suche und 2,1 s pro Produktseite.
Welche Costco-Daten bekomme ich?
Für jedes Produkt einer Suche: Produkt-ID und Artikelnummer, Titel, Marke, Link und Bild, den Preis, das obere Ende einer Preisspanne, den Streichpreis, den Aktionstext, ob der Preis nur im Warenkorb erscheint, die Kennzeichen nur für Mitglieder, nur online und nur im Lagerhaus, die Verfügbarkeit für einen Lieferort, Bewertung und Anzahl der Rezensionen, Modellnummer, wichtigste Merkmale, Kategoriepfad und die Zahl der Varianten. Der Produkt-Endpunkt ergänzt Beschreibung, Details, die Spezifikationstabelle, alle Bilder, Hersteller und Teilenummer, UPC, Bestellgrenzen, den Versandtext, die Optionen sowie Artikelnummer und UPC jeder Variante.
Deckt es Costco Kanada ab?
Ja. Übergib domain=ca, um costco.ca zu durchsuchen oder ein costco.ca-Produkt per ID zu lesen; ein costco.ca-Produktlink wählt den kanadischen Shop von selbst. Die Preise auf costco.ca sind in CAD, und die Verfügbarkeit wird für einen kanadischen Lieferort berechnet.
Brauche ich eine Costco-Mitgliedschaft?
Nein. Preise, Aktionen und Produktdetails auf der Costco-Website sind öffentlich, und es braucht weder ein Costco-Konto noch eine Mitgliedsnummer oder ein Login. Artikel, deren Preis Costco nur im Warenkorb zeigt, tragen das Kennzeichen priceShownInCartOnly; geliefert wird der Preis aus Costcos Katalog.
Was kostet Costco-Scraping?
Eine Suche mit bis zu 120 Produkten ist eine Anfrage (240 Produkte sind zwei), eine Produktseite ist eine Anfrage. 1 Anfrage = 1 Credit, 1,00 EUR pro 1.000 bei Pay as you go, bis hinunter auf etwa 0,55 EUR pro 1.000 im Ultimate-Tarif. Blockaden und Timeouts werden nicht berechnet, und die kostenlose Testphase umfasst 500 Anfragen ohne Karte.
Ähnliche Scraper
Costco sowie weitere Namen und Marken von costco.com gehören ihrem Inhaber und werden hier nur verwendet, um die Website zu bezeichnen, mit der diese API arbeitet. ScrapeUnblocker ist ein unabhängiger Dienst und steht in keiner Verbindung zum Inhaber von costco.com, der ScrapeUnblocker weder unterstützt noch sponsert.
Starten Sie noch heute mit dieser Seite
Kostenloses Kontingent inklusive. Zum Testen ist keine Kreditkarte nötig.