JavaScript no està activat en el seu navegador.
Li recomanem que l'activi o en tot cas utilitzi un navegador que si el tingui activat. En cas que prefereixi no fer-ho, pot ser que no visualitzi correctament la pàgina, o fins i tot que no pugui dur a terme algunes accions.

inici | bloc | recomanacions web | boe, indults parlamentaris i robots.txt

BOE, indults parlamentaris i robots.txt

04/07/2014

Aquest dimarts, @soydelbierzo va compartir a Twitter un enllaç al fitxer robots.txt del BOE, acompanyat de l'anunci "El mastodóntico robots.txt del BOE,8133 líneas para que Google no indexe condenas e indultos a corruptos". I en un altre tweet concretava: "De las más de 8.000 URL del BOE bloqueadas, un 22,3% habla de indultos, el resto son nombramientos, becas y un largo etc".

Com que tothom sap el que és un indult, més o menys tothom té una idea de que al BOE s'hi publiquen lleis, decrets o licitacions entre altres informacions que han de ser accessibles al públic en general, i aprofitant que ens dediquem a Internet i sabem què és i per què serveix el robots.txt, aquesta sembla una bona oportunitat per aclarir què és el "robots.txt", què té a veure amb el BOE, indults, i altres, i per quin motiu totes les pàgines web haurien de tenir el seu, que hauria de ser adequat a les necessitats del web.

La principal utilitat del robots.txt, ja sigui al BOE o a qualsevol altre lloc, arriba quan hi ha informacions, apartats o pantalles que han de ser al web, però no es vol que Google les tingui en compte, i també serveix per fer desaparèixer continguts obsolets dels resultats de les cerques el més aviat possible.

Unes mostres:
Continguts que no interessa que es trobin a les cerques: http://www.boe.es/robots.txt

Línies del robots.txt del BOE per evitar que s'indexin als cercadors

Continguts que ja no han de sortir per obsolets" (les pantalles han estat eliminades): http://www.casareal.es/robots.txt

Fitxer Robots.txt de la Casa reial, per deixar d'aparèixer a Google pantalles eliminades del lloc web

En qualsevol dels dos casos el tractament que s'ha de donar a les adreces web que no es vol que es trobin a Google és el mateix, i consisteix en dir-li al cercador que no indexi les pantalles indicades.

Tant si el que no es vol que es trobi està indexat com si no, i com que cada cop que Google rastreja una pàgina visita el robots.txt, incloure-hi les adreces que no s'han d'indexar (amb un "Disallow:" abans de l'adreça) és la manera més ràpida de que Google s'assabenti del tractament que li ha de donar a aquella pantalla, document, arxiu, directori....

No és indispensable que una pàgina tingui el fitxer robots.txt, però és una d'aquelles coses que serveixen per fer-la funcionar millor i agradi una mica més a Google.