Com que tothom sap el que és un indult, més o menys tothom té una idea de que al BOE s'hi publiquen lleis, decrets o licitacions entre altres informacions que han de ser accessibles al públic en general, i aprofitant que ens dediquem a Internet i sabem què és i per què serveix el robots.txt, aquesta sembla una bona oportunitat per aclarir què és el "robots.txt", què té a veure amb el BOE, indults, i altres, i per quin motiu totes les pàgines web haurien de tenir el seu, que hauria de ser adequat a les necessitats del web.
La principal utilitat del robots.txt, ja sigui al BOE o a qualsevol altre lloc, arriba quan hi ha informacions, apartats o pantalles que han de ser al web, però no es vol que Google les tingui en compte, i també serveix per fer desaparèixer continguts obsolets dels resultats de les cerques el més aviat possible.
Unes mostres:
Continguts que no interessa que es trobin a les cerques: http://www.boe.es/robots.txt
Continguts que ja no han de sortir per obsolets" (les pantalles han estat eliminades): http://www.casareal.es/robots.txt
En qualsevol dels dos casos el tractament que s'ha de donar a les adreces web que no es vol que es trobin a Google és el mateix, i consisteix en dir-li al cercador que no indexi les pantalles indicades.
Tant si el que no es vol que es trobi està indexat com si no, i com que cada cop que Google rastreja una pàgina visita el robots.txt, incloure-hi les adreces que no s'han d'indexar (amb un "Disallow:" abans de l'adreça) és la manera més ràpida de que Google s'assabenti del tractament que li ha de donar a aquella pantalla, document, arxiu, directori....
No és indispensable que una pàgina tingui el fitxer robots.txt, però és una d'aquelles coses que serveixen per fer-la funcionar millor i agradi una mica més a Google.
Publica el teu comentari
Registra't per seguir els comentaris d'aquest tema.