Ton script Selenium qui récupérait les prix Amazon a rendu l'âme dès qu'Amazon a déplacé un div. Scénario classique. En mars 2026, y'a une meilleure approche.
Pourquoi les scripts de scraping traditionnels sont devenus ingérables ?
Un script classique (BeautifulSoup, Selenium, Puppeteer) est fondé sur des sélecteurs CSS ou XPath figés. Dès qu'un site change son layout — ce qui arrive en moyenne toutes les 2-3 semaines sur les gros e-commerce — le script plante silencieusement ou retourne des données corrompues. Résultat : tu passes 80% de ton temps à maintenir des trucs qui ne devraient pas casser.
En 2026, la tendance de fond c'est les agents IA self-healing : au lieu de coder "récupère le texte du div.product-price", tu dis "récupère le prix du produit" et l'agent détermine lui-même où il se trouve sur la page, via vision ou analyse sémantique.
Claw-Bot recommande cette approche pour tout scraping qui doit tourner en production plus de quelques jours sans supervision.
Concrètement, comment ça s'implémente ?
Option 1 : Firecrawl (pour alimenter un LLM ou un RAG)
Firecrawl est une API qui transforme n'importe quelle page web en Markdown propre. Elle gère le JavaScript, les anti-bots, la pagination. Tu l'appelles avec une URL et tu récupères du texte structuré. 96% du web couvert selon leurs benchmarks.
curl -X POST https://api.firecrawl.dev/v1/scrape \
-H "Authorization: Bearer fc-xxxx" \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com/produit", "formats": ["markdown"]}'
Le Markdown retourné, tu le passes à GPT-4o ou Claude avec un prompt simple : "extrait le prix, le titre et la disponibilité". L'agent trouve le bon champ même si la structure HTML change. Prix : gratuit jusqu'à 500 requêtes/mois, ensuite 16$/mois.
Option 2 : Skyvern (pour interagir avec des formulaires)
Skyvern utilise la vision IA pour naviguer comme un humain. Au lieu de coder les clics, tu décris l'objectif : "Connecte-toi sur ce site, va dans la section commandes, télécharge le PDF de la dernière facture." Skyvern voit l'interface visuellement et décide des actions.
Idéal pour les sites qui bloquent les scripts headless classiques. Open-source (github.com/Skyvern-AI/skyvern), tu peux le self-héberger.
Option 3 : CrewAI pour les pipelines multi-étapes
Quand ton scraping est une chaîne (chercher -> extraire -> valider -> stocker), CrewAI permet d'orchestrer plusieurs agents en parallèle. Un agent fait le scraping, un autre vérifie la cohérence des données, un autre les formate. Plus complexe à setup, mais c'est la bonne approche pour de la data en volume.
Quel outil pour quel cas d'usage ?
Firecrawl si : tu veux alimenter un LLM en données fraîches, tu fais du RAG sur du contenu web, tu es dev et tu veux une API simple.
Skyvern si : tu dois automatiser des actions (pas juste lire), les sites sont dynamiques ou JS-heavy, tu veux du self-hébergé.
Kadoa si : tu es en entreprise, tu as besoin de scraping à scale (millions de pages), tu veux du monitoring et du scheduling clé en main. 99$/mois mais ça tourne tout seul.
Chez Claw-Bot, on utilise Firecrawl + Claude pour des pipelines de veille concurrentielle : un agent récupère les pages produits chaque matin, un autre compare les prix, un troisième envoie un résumé. Zéro maintenance depuis 3 mois.
Les pièges à éviter
Le CAPTCHA : Firecrawl et Skyvern en gèrent une bonne partie, mais pour les gros sites avec Cloudflare v3 ou hCaptcha agressif, tu auras besoin d'un service externe comme CapSolver (0,80$ pour 1000 CAPTCHAs).
Le légal : vérifie toujours le robots.txt et les CGU avant de scraper. En Europe, le RGPD s'applique aussi aux données scrappées si elles contiennent des données personnelles.
La fréquence : un agent qui tape 100 requêtes/seconde sur un site va se faire bannir, IA ou pas. Respecte des délais entre requêtes (1-3 secondes minimum).
Si tu héberges tout ça sous OpenClaw, tu peux scheduler les agents avec les crons intégrés et logger les résultats automatiquement. C'est exactement le genre de workflow dont on parle sur claw-bot.fr/cas-usage.