Suchmaschinen-Crawler sind Traffic, den du willst. Sie indexieren deinen Shop, damit Kunden dich finden. Das Problem: „Googlebot“ im User Agent ist nur Text. Alles kann behaupten, Googlebot zu sein, und viel Scraping- und Schwachstellen-Scan-Traffic tut genau das, um an einfachen Bot-Regeln vorbeizukommen.
Warum Blockieren nur nach User Agent nach hinten losgeht
Wenn du alles blockierst, was laut User Agent kein Googlebot ist, erwischst du ein paar Scraper. Wenn du aber allem vertraust, was behauptet, Googlebot zu sein, hast du Nachahmern einen Freifahrtschein gegeben. Das ist eine häufige Lücke bei einfachen Bot-Blockern.
Wie echte Prüfung aussieht
Google veröffentlicht die IP-Bereiche seiner Crawler, und echter Googlebot-Traffic führt bei einer Reverse-DNS-Abfrage zurück zu Infrastruktur, die Google gehört. Auch echtes Crawler-Verhalten hat eine Form: Er fragt robots.txt ab, hält sich an übliche Crawl-Raten und führt JavaScript nicht so aus wie ein Browser-Besuch.
Die Einstufung von Bots und Crawlern bei Skyfense prüft angeblichen Crawler-Traffic anhand dieses Gesamtbilds (Herkunft im Netz, Muster der Anfragen und Verhalten), statt dem User Agent allein zu vertrauen. Echte Suchmaschinen-Crawler kommen unberührt durch. Traffic, der sich als Googlebot ausgibt, um einer Prüfung zu entgehen, wird wie jeder andere unbekannte Bot behandelt und entsprechend bewertet.
Passiert das gerade in deinem Shop?Viele Besuche und Warenkörbe, keine Verkäufe: So löst Skyfense das →