Descobreix la indexació del futur: Google SiteMap

Google ens proposa què serà la nova manera d'indexar pàgines web.
Els motors de cerca com Google i Yahoo, utilitzen aranyes per recollir la informació de les pàgines web que hi ha publicades a Internet. Un cop tenen la informació, la processen per poder ordenar ràpidament els resultats de cerca, en funció d'un algorisme determinat, quan un usuari acudeix a les seves pàgines web respectives i inquereix algun terme o alguna frase.

Les aranyes dels cercadors visiten periòdicament les pàgines web que estan publicades a Internet i actualitzen automàticament la informació sobre el contingut.

Fins ara, les aranyes entraven al directori arrel d'un domini, buscaven el fitxer robots.txt per assegurar-se que el site desitjava ser indexat i després procedien a visitar tots els enllaços que trobaven a la pàgina web, registrant així tot el contingut de la pàgina.

Google SiteMaps revolucionarà aquesta manera d'indexar les pàgines web.

No és només que Google ara llegeixi amb més deteniment els mapes del site que la gent inclou a les seves pàgines web… no és res daixò… és una nova forma radical dindexar el contingut de les pàgines. Google ens proposa la creació d'un sitemap en XML seguint unes especificacions determinades que donaran tota la informació a les vostres aranyes i que us permetrà l'accés a urls que fins ara podien haver estat amagades per diversos motius aliens a la voluntat dels administradors web.

Google vol poder accedir a tot el contingut de les pàgines web de la manera més fàcil i eficient. Tal com ara està plantejada la indexació de pàgines, tot i ser molt més eficient que els índexs humans que teníem abans (qui no recorda haver anat a un cercador, haver inserit a mà la definició del nostre site, les paraules clau per les que volíem ser trobats i la URL del site… però això ja és prehistòria internàutica), el que Google ens planteja ara és molt millor.

Tot consisteix a posar a la disposició de les aranyes un sitemap especial.

Per crear aquest sitemap, només cal disposar d'una aplicació que s'instal·la al nostre servidor (hi ha versions per a tots els sistemes operatius) i que crea un mapa del site en un format determinat. L'aplicació que ens proposa Google pot generar el mapa a partir dels URL de la pàgina web, a partir dels directoris de la pàgina web, oa partir dels logs del servidor (ideal per a pàgines dinàmiques).
Un cop tenim el sitemap fet segons les especificacions de Google, podem donar-lo d'alta a Google SiteMaps. Automàticament i en menys de 4 hores, Google ho haurà indexat.

Google permet que els administradors web creïn un cron que generi un nou mapa fins a cada hora (per a llocs amb molta renovació de contingut) i que faci el submit del mapa automàticament a Google Sitemaps. D'aquesta manera, les aranyes coneixeran immediatament les noves pàgines creades i les podran incorporar a l'índex.

Avantatges d'aquesta aplicació:

Tant se val com tinguis la pàgina web a nivell de camins per a les aranyes… amb un site map creat pel Sitemap Generator, les aranyes de Google sempre trobaran les url de totes les teves pàgines.

Un altre gran avantatge és la ràpida indexació del contingut de tot el site. En menys de 4 hores, les aranyes han visitat fins a 50.000 enllaços de la nostra pàgina web. Per a webs amb més URL, Google recomana realitzar diversos sitemaps i disposar d'un índex de sitemaps.

Desavantatges d'aquesta aplicació:

Requereix una mica de coneixements en programació, per tant, o bé els ISP ofereixen aquest servei com a valor afegit per als seus clients o bé moltes pàgines web no disposaran d'aquest servei i hauran de continuar sent indexades per aranyes normals i corrents.

Els mapas que ja estan disponibles a la major part de pàgines web no són compatibles amb el format de Google. Google vol un document en XML amb unes especificacions determinades.

Amb aquest projecte, Google cerca sens dubte, la manera de millorar la indexació de les pàgines web i poder comptar als seus índexs amb pàgines que fins ara es perdien en un mar d'enllaços dins dels nostres sites.

Google ha creat el Sitemap Generator i el servei d'indexació Express i l'ofereix de forma completament gratuïta… serà interessant veure la reacció de Yahoo davant d'això, ja que Yahoo ofereix el servei d'indexació ràpida previ pagament de 49$, 20$ Ó 10$ segons el número d'url que volem indexar de manera accelerada.

De moment, no disposem de resultats de primera mà respecte a l'efectivitat de la indexació a través del SiteMap de Google. Quan tinguem instal·lat el nou sitemap a diverses pàgines web i estiguem en disposició de fer comparatives de nombre d'increment en pàgines indexades i de freqüència de visites d'aranyes, escriurem un nou article informant dels resultats. Ens veiem aleshores.

Nota posterior: Han passat alguns mesos des que escrivim aquest article. Els resultats han estat molt bons. Tot un web queda indexat de nou en menys de 24 hores. És ideal per quan una nova web surt a la xarxa. La pots tenir indexada en un moment, sense haver d'esperar mesos i mesos que les aranyes de Google llegeixin tot el contingut.

Informació complementària:

URL amb informació sobre el sitemap de Google:
https://www.google.com/webmasters/sitemaps/docs/en/about.html

URL amb especificacions sobre el sitemap de Google:
https://www.google.com/webmasters/sitemaps/docs/en/protocol.html