Que hacer si los Robots nos consumen muchos recursos

Uno de los posibles problemas que nos podemos encontrar a la hora de tener un site muy grande es que los robots de los buscadores nos fundan el servidor a peticiones y claro no podemos negarles la entrada.

Para eso existe la opción de agregar al Robots.txt la etiqueta :

User-agent:*
Crawl-delay: 30

Con lo que le decimos al robot que se espere 30 segundos cada vez que quiera realizar una petición a nuestro servidor.

Publicado por

Felipe García

Aprendiendo e intentando enseñar SEO

5 comentarios en «Que hacer si los Robots nos consumen muchos recursos»

  1. en el caso de google tiene una opcion en la pagina de webmaster para definir cuanto tiempo quieres que el robot espere para visitar tu web… con los demas buscadore no c si sea asi.

Deja una respuesta