Uno de los posibles problemas que nos podemos encontrar a la hora de tener un site muy grande es que los robots de los buscadores nos fundan el servidor a peticiones y claro no podemos negarles la entrada.
Para eso existe la opción de agregar al Robots.txt la etiqueta :
User-agent:*
Crawl-delay: 30
Con lo que le decimos al robot que se espere 30 segundos cada vez que quiera realizar una petición a nuestro servidor.
Nunca te acostarás sin sabe una cosa más.
Aparte de eso es comprar más gb, espara no quedarte corto
en el caso de google tiene una opcion en la pagina de webmaster para definir cuanto tiempo quieres que el robot espere para visitar tu web… con los demas buscadore no c si sea asi.
Que tiene que ver el tener mas GB ayora?
Muy buena la indicacion, siempre y cuando no perjudique la normal indexacion!