Les robots des moteurs de recherche sont du trafic que vous voulez. Ils indexent votre boutique pour que les clients vous trouvent. Le problème, c’est que « Googlebot » dans un user agent n’est que du texte. N’importe quoi peut se dire Googlebot, et beaucoup d’aspirateurs de données et de scanners de vulnérabilités le font justement pour passer sous les règles anti-bots simples.
Pourquoi bloquer selon le seul user agent se retourne contre vous
Si vous bloquez tout ce qui n’est pas Googlebot d’après le user agent, vous attraperez quelques aspirateurs. Mais si vous faites confiance à tout ce qui prétend être Googlebot, vous offrez un laissez-passer aux imitateurs. C’est une faille courante des blocages de bots basiques.
À quoi ressemble une vraie vérification
Google publie les plages d’IP de ses robots, et le vrai trafic Googlebot remonte à une infrastructure appartenant à Google lors d’une recherche DNS inverse. Le comportement d’un vrai robot a aussi une forme : il demande le fichier robots.txt, respecte les rythmes d’exploration habituels et n’exécute pas le JavaScript comme le ferait une visite de navigateur.
La classification des bots et des robots de Skyfense vérifie le trafic qui se dit robot à l’aide de ce tableau complet (origine réseau, schéma des requêtes et comportement) au lieu de se fier au seul user agent. Les vrais robots des moteurs de recherche passent sans être touchés. Le trafic qui se fait passer pour Googlebot afin d’échapper aux contrôles est traité comme n’importe quel bot non identifié, et évalué en conséquence.
Cela arrive à votre boutique ?Des visites et des paniers, pas de ventes : voyez comment Skyfense règle le problème →