JavaScript no está activado en su navegador.
Le recomendamos que lo active o en en caso contrario que utilice un navegador que sí lo tenga activado. Si prefiere no hacerlo, puede que no visualice correctamente la página, o incluso que no pueda efectuar algunas acciones.

inicio | blog | recomendaciones web | boe, indultos parlamentarios y robots.txt

BOE, indultos parlamentarios y robots.txt

04/07/2014

Este martes,@soydelbierzo compartió en Twitter un enlace al archivo robots.txt del BOE, acompañado del anuncio enlace al fichero robots.txt del BOE, acompañado del anuncio "El mastodóntico robots.txt del BOE,8133 líneas para que Google no indexe condenas e indultos a corruptos". Y en otro tweet concretaba: "De las más de 8.000 URL del BOE bloqueadas, un 22,3% habla de indultos, el resto son nombramientos, becas y un largo etc".

Como todo el mundo sabe lo que es un indulto, más o menos todo el mundo tiene una idea de que en el BOE se publican leyes, decretos o licitaciones (entre muchas otras informaciones, que tienen que estar accesibles al público en general), y ya que nos dedicamos a Internet y sabemos qué es y para qué sirve el robots.txt, esta parece una buena oportunidad para explicar un poco este archivo aprovechando su relación con el BOE o los indultos, y transmitir el motivo por qué todas las páginas deberían tener uno (adecuado al caso).

La principal utilidad del robots.txt, ya sea en el BOE o en cualquier otro sitio, llega cuando hay informaciones, apartados o pantallas que tienen que estar en la web, pero no interesa que se encuentren en Google, y también sirve para que los contenidos obsoletos desaparezcan de las búsquedas lo antes posible.

Unas muestras:
Contenidos publicados, pero que no interesa que se encuentren en las búsquedas: http://www.boe.es/robots.txt

Lineas del robots.txt del BOE para evitar que se indexen en los buscadores

Contenidos que ya no tienen que salir por obsoletos (las pantallas han sido eliminadas): http://www.casareal.es/robots.txt

Fichero Robots.txt de la Casa real, para deijar de aparecer en Google al tratarse de pantallas eliminadas del sitio web

En ambos casos el tratamiento que debe darse a las direcciones web que no se quiere que se encuentren en Google es el mismo, y consiste en decirle al buscador que no indexen las pantallas indicadas.

Tanto si lo que no se quiere que se encuentre está indexado como si no, y como siempre que Google rastrea una página visita el robots.txt, incluir las direcciones que no se tienen que indexar (con un "Disallow:" antes de la dirección) es el método más rápido para que Google se entere del tratamiento que le debe dar a esa pantalla, documento, archivo, directorio...

No es indispensable que una página tenga el archivo robots.txt, pero es una de aquellas pequeñas cosas que sirven para que funcione mejor y guste un poco más a Google.