Données d'entreprise

Product Hunt Scraper

producthunt.com

Product Hunt est servi via un endpoint de plugin dédié plutôt que par la récupération de page générique. Demandez le classement du jour et il renvoie les lancements classés du jour déjà analysés - nom, slogan, votes, commentaires, thèmes, rang et une URL de produit propre ; ou recherchez un mot-clé, parcourez un slug de thème ou récupérez un produit par slug pour sa description, son site web, tous ses liens sociaux, sa note et son nombre d'avis, ses abonnés et ses catégories. Chaque page Product Hunt intègre ses propres données sous forme d'îlot JSON, si bien que le plugin les lit directement dans la page - aucune API privée et aucun HTML à parser vous-même. Le classement du jour est en direct et pas encore classé, tandis que les jours passés sont finalisés et classés.

Ce que vous pouvez extraire

• Nom, slogan et description
• Votes, commentaires et rang quotidien / hebdomadaire / mensuel
• Thèmes et créateurs
• Date de lancement et une URL de produit propre
• Mode détail : site web et tous les liens sociaux
• Mode détail : note et nombre d'avis, abonnés et catégories

Endpoints dédiés

Comment le scraper

curl -X POST \
  -H "X-ScrapeUnblocker-Key: $SU_API_KEY" \
  "https://api.scrapeunblocker.com/products/producthunt?mode=leaderboard"

import requests

resp = requests.post(
    "https://api.scrapeunblocker.com/products/producthunt",
    headers={"X-ScrapeUnblocker-Key": SU_API_KEY},
    params={"mode": "leaderboard"},
)
print(resp.text)

import { ScrapeUnblockerClient } from 'scrapeunblocker';

const su = new ScrapeUnblockerClient({ apiKey: process.env.SU_API_KEY });

const data = await su.productHunt({ mode: 'leaderboard', maxResults: 20 });
console.log(results);

Les requêtes sont en POST et passent leurs paramètres dans la query string. Le rendu navigateur a toujours lieu : aucun flag à activer.

Lire la documentation de l'API

Scrapers similaires