Este martes,@soydelbierzo compartió en Twitter un enlace al archivo robots.txt del BOE, acompañado del anuncio enlace al fichero robots.txt del BOE, acompañado del anuncio "El mastodóntico robots.txt del BOE,8133 líneas para que Google no indexe condenas e indultos a corruptos". Y en otro tweet concretaba: "De las más de 8.000 URL del BOE bloqueadas, un 22,3% habla de indultos, el resto son nombramientos, becas y un largo etc".
Como todo el mundo sabe lo que es un indulto, más o menos todo el mundo tiene una idea de que en el BOE se publican leyes, decretos o licitaciones (entre muchas otras informaciones, que tienen que estar accesibles al público en general), y ya que nos dedicamos a Internet y sabemos qué es y para qué sirve el robots.txt, esta parece una buena oportunidad para explicar un poco este archivo aprovechando su relación con el BOE o los indultos, y transmitir el motivo por qué todas las páginas deberían tener uno (adecuado al caso).
La principal utilidad del robots.txt, ya sea en el BOE o en cualquier otro sitio, llega cuando hay informaciones, apartados o pantallas que tienen que estar en la web, pero no interesa que se encuentren en Google, y también sirve para que los contenidos obsoletos desaparezcan de las búsquedas lo antes posible.
Unas muestras:
Contenidos publicados, pero que no interesa que se encuentren en las búsquedas: http://www.boe.es/robots.txt
Contenidos que ya no tienen que salir por obsoletos (las pantallas han sido eliminadas): http://www.casareal.es/robots.txt
Tanto si lo que no se quiere que se encuentre está indexado como si no, y como siempre que Google rastrea una página visita el robots.txt, incluir las direcciones que no se tienen que indexar (con un "Disallow:" antes de la dirección) es el método más rápido para que Google se entere del tratamiento que le debe dar a esa pantalla, documento, archivo, directorio...
No es indispensable que una página tenga el archivo robots.txt, pero es una de aquellas pequeñas cosas que sirven para que funcione mejor y guste un poco más a Google.
Publica tu comentario
Si no eres usuario, y deseas recibir avisos cuando se publiquen nuevos comentarios, regístrate.