Robots.txt para WordPress

Esta mañana analizando los logs de mi blog he visto como había varios errores, estos eran provocados cuando el robot (spider) de búsqueda intentaba descargarse el robots.txt, evidentemente era un grave error que debería haber contemplado antes.

Analizando un poco los directorios de WP 2.0 vemos que podemos dehabilitar para los motores a prácticamente todos los que vienen por defecto.

el archivo robots.txt quedaría así

User-agent:*
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /fotos/

evidentemente si quisieramos hacerlo por buscador individualizado usariamos como user agent al spider correspondient de cada buscador. googlebot, scooter, ….