S'ha parlat molt sobre com Barack Obama ha aprofitat internet per donar a conèixer la seva candidatura i per aconseguir mobilitzar votants. També s'ha comentat a molts blocs l'ambiciós pla tecnològic d'Obama per als EUA (es pot llegir aquí).
Però una de les coses que m'ha cridat més l'atenció i que poques persones han advertit: el canvi que ha patit Robots.txt de la pàgina web de la Casa Blanca, molt en línia amb el que Obama predica.
Què és un Robots.txt?
És un fitxer de text que conté instruccions sobre les pàgines visitables i les no visitables pels Robots, d'una pàgina web. És a dir, indica quines parts de la pàgina web no han de ser escanejades pels robots.
Normalment, es tracta de contingut que apareix a la pàgina web, però només es desitja que sigui accessible a la gent que navega per la web, no es desitja que aquest contingut aparegui indexat als cercadors. També s'utilitza quan un gestor de continguts genera contingut duplicat i, per tant, penalitzat pels cercadors.
Aquest fitxer es crea seguint les instruccions que podem trobar aquí: Robots, i tots els robots que segueixen el “Protocol d'Exclusió de Robotses comprometen a fer cas d'aquestes instruccions.
Si una pàgina web no té creat aquest fitxer de text, els robots entenen que poden indexar-la (encara que en haver buscat el robots.txt d'aquesta pàgina els robots generen un error 404 i per tant, és recomanable que es creï una pàgina en blanc i pugeu per FTP amb el nom de Robots.txt perquè d'aquesta manera, els 404 que es generin a la pàgina seran reals i puguin ser depurats pel webmaster).
Tornem al Robots.txt de la Casa Blanca
Fins fa uns dies, quan explicava a classe què és un fitxer Robots.txt i què és el “Protocol d'Exclusió de Robots” posava diversos exemples per il·lustrar els diferents tipus de Robots.txt que podem crear per donar instruccions als robots indexadors:
- Una pàgina robots.txt en blanc
- Una pàgina robots.txt amb instruccions més o menys “normals”
- Una pàgina robots.txt totalment exagerada i fora de lloc.
Doncs bé… Obama m'ha “sabotejat” els exemples i s'ha carregat el meu exemple de mala praxi en qüestió de Robots.txt: El webmàster de la nova pàgina web de la Casa Blanca ha creat un nou Robots.txt perfectament realitzat, clar i concís.
El webmaster de George Bush Jr. havia creat un Robots.txt amb milers i milers de pàgines amb l'accés prohibit als robots. No cal dir que… no hi havia res interessant en aquest contingut (alguna vegada m'havia dedicat a anar llegint el que no volien que fos indexat… fotos de la first lady, discursos, etc…). Però mostrava bé que els de la Casa Blanca tenien un concepte una mica arcaic del que és internet i sobre la publicació de contingut.
El nou websmaster, en aquest sentit, mostra tenir molt més clar què ha de ser la pàgina web d'una institució com la Casa Blanca.
D'acord… però com era aquest Robots.txt?
Per sort, a les diapositives de les meves classes sempre incloc cops de pantalla sobre el que explico, no sigui que em falli la connexió a internet o que allà on faci la classe no tinguin connexió… (quina trista haver de pensar sempre en aquesta possibilitat).
Així que sota aquestes línies (al final del post) incloc la imatge que tinc arxivada i que ara ja passa a ser història… (Observa la barra de scroll de la pantalla… és la que mostra la magnitud del llistat)
La pàgina robots.txt actual la pots veure clicant aquí: Robots.txt de la Casablanca amb Obama .
Si vols més informació sobre com crear un Robots.txt o per a què serveix, la trobaràs aquí: Robots.txt i també al Curs Gratuït de Posicionament a Cercadors de la nostra pàgina web: Curs de Posicionament a Cercadors
