Los rastreadores de los buscadores son tráfico que quieres. Indexan tu tienda para que los clientes te encuentren. El problema es que «Googlebot» en un user agent es solo texto. Cualquier cosa puede decir que es Googlebot, y mucho tráfico de scraping y de escaneo de vulnerabilidades hace justo eso para colarse entre las reglas sencillas contra bots.
Por qué bloquear solo por user agent sale mal
Si bloqueas todo lo que no es Googlebot según el user agent, atraparás algunos scrapers. Pero si confías en todo lo que dice ser Googlebot, acabas de dar vía libre a los imitadores, y es un hueco habitual en los bloqueos de bots básicos.
Cómo es una verificación de verdad
Google publica los rangos de IP de sus rastreadores, y el tráfico real de Googlebot apunta a infraestructura de Google en una consulta de DNS inversa. El comportamiento de un rastreador real también tiene su forma: pide el archivo robots.txt, respeta los ritmos de rastreo habituales y no ejecuta JavaScript como lo haría una visita de navegador.
La clasificación de bots y rastreadores de Skyfense comprueba el tráfico que dice ser un rastreador con ese cuadro completo (origen en la red, patrón de peticiones y comportamiento), en lugar de fiarse solo del user agent. Los rastreadores legítimos de los buscadores pasan sin problema. El tráfico que finge ser Googlebot para evitar el control se trata como cualquier otro bot sin identificar y se puntúa en consecuencia.
¿Le está pasando a tu tienda?Muchas visitas y carritos, sin ventas: mira cómo lo resuelve Skyfense →