Uno de los posibles problemas que nos podemos encontrar a la hora de tener un site muy grande es que los robots de los buscadores nos fundan el servidor a peticiones y claro no podemos negarles la entrada.
Para eso existe la opción de agregar al Robots.txt la etiqueta :
User-agent:*
Crawl-delay: 30
Con lo que le decimos al robot que se espere 30 segundos cada vez que quiera realizar una petición a nuestro servidor.
Español 
English
Nunca te acostarás sin sabe una cosa más.
Aparte de eso es comprar más gb, espara no quedarte corto 🙂
en el caso de google tiene una opcion en la pagina de webmaster para definir cuanto tiempo quieres que el robot espere para visitar tu web… con los demas buscadore no c si sea asi.
Que tiene que ver el tener mas GB ayora?
Muy buena la indicacion, siempre y cuando no perjudique la normal indexacion!