Robots.txt para Wordpress
Pedro Perles
el Domingo, 24 de Diciembre de 2006
Esta mañana analizando los logs de mi blog he visto como había varios errores, estos eran provocados cuando el robot (spider) de búsqueda intentaba descargarse el robots.txt, evidentemente era un grave error que debería haber contemplado antes.
Analizando un poco los directorios de WP 2.0 vemos que podemos dehabilitar para los motores a prácticamente todos los que vienen por defecto.
el archivo robots.txt quedaría así
User-agent:*
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /fotos/
evidentemente si quisieramos hacerlo por buscador individualizado usariamos como user agent al spider correspondient de cada buscador. googlebot, scooter, ….
Agosto 24th, 2007 a las 23:49
Lo aplicare en mi web muchas gracias
link:linux.unidadloca.com
link:unidadloca.com