Robot.txt
Posted in General on abril 28th, 2019 by velvetQuan vam crear un lloc web nou necessitem que Google pugui accedir a la nostra pàgina per rastrar la nostra informació. Per realitzar aquesta tasca és necessari la creació d’un arxiu de text (amb extensión.txt) en el nostre domini per proveir al cercador de tota la informació que ens interessa que sàpiga sobre la nostra pàgina web o negoci. Alhora aquest arxiu .txt és usat per a impedir que els bots o robots.txt afegeixin dades i informació que no volem compartir amb la companyia de Mountain View. Segons Google, la definició d’un fitxer.txt és la següent:
«Un fitxer robots.txt és un arxiu que es troba a l’arrel d’un lloc i indica a quines parts no vols que accedeixin els rastrejadors dels motors de cerca. L’arxiu utilitza l’estàndard d’exclusió de robots, que és un protocol amb un petit conjunt d’ordres que es pot utilitzar per a indicar l’accés al lloc web per secció i per tipus específics de rastrejadors web (com els rastrejadors mòbils o els rastrejadors d’ordinador ) ».
Com funciona el fitxer robots.txt
El funcionament d’un robots.txt és més senzill del que sembla. El primer que hem de saber és per què serveix el fitxer robots.txt i que elements de la nostra web és capaç d’indexar o no.
A més, el funcionament dels robots.txt està limitat i hi ha altres sistemes perquè les nostres adreces web siguin trobades a la web.
Mapa del lloc web de l’arxiu robots.txt en una pàgina web.
Mapa del lloc web del funcionament d’un robots.txt i el seu arxiu a una pàgina web.
Tingues en compte que les instruccions del robots.txt són meres indicacions i no és una cosa definitiva. Per exemple, els robots de Google anomenats Googlebots si obeeixen les ordres del fitxer robots.txt, però altres cercadors (Yandex, Alltheweb, ASK o Altavista) no tenen perquè fer-ho.
Per exemple, Google no rastrejarà ni indexarà cap tipus d’informació del contingut de les pàgines que bloquegem amb el robots.txt, però, sí que s’indexarà totes les adreces o URL que estiguin en altres elements o pàgines web fins i tot encara que aquestes mateixes estiguin restringides dins del fitxer.txt, per tant, un consell important és que si la teva pàgina web tindrà informació sensible però no vols compartir-la, el millor és no crear-la.
Dos tipus de robots: user-agents i robots
Google diferència diverses classes de robots:
Els user-agents que utilitza de forma específica per a buscar i per donar instruccions. Per poder usar aquest robot s’ha d’afegir la següent comanda: User-agent: *
La resta de robots són Googlebots: el Googlebot-Mobile (específic per a dispositius mòbils) i el Googlebot-Image que és per a imatges i fotografia.
La comanda Disallow
Si volem limitar la indexació de fitxers per a aquest tipus de robots hem de fer servir la comanda «Disallow». Per exemple, si volem treure algun contingut de la nostra pàgina web posarem el següent:
En el cas de bloquejar tot el lloc posarem una barra inclinada, així: Disallow: /
Si volem bloquejar un directori i tot el que està dins posarem el següent: Disallow: /xxxx/
Per bloquejar una pàgina sencera es posa després de Disallow així: Disallow: /xxx
Pel que fa a les imatges s’eliminen de la següent manera:
Si només vols esborrar la imatge: User-agent: Googlebot-Image
Disallow: / imatges / màrqueting i comerç electrónico.jpg
Si vols eradicar totes les imatges de Google Imatges, inclou les següents comandes:
User-agent: Googlebot-Image
Disallow: /
Per bloquejar arxius d’un determinat tipus (per exemple, .gif) pots incloure la següent comanda:
User-agent: Googlebot
Disallow: /*.gif$
Altres comandaments que també s’utilitzen bastant
Mapa del lloc – Indicar on hi ha el mapa del lloc en XML.
Allow – Funciona al revés que la comanda Disallow ja que permet l’accés a directoris i pàgines. També es pot fer servir de manera parcial o total per sobreescriure la comanda Disallow.
Crawl-delay – Aquesta comanda li dóna instruccions al robot sobre el nombre de segons per carregar entre cada pàgina. De fet, és bastant comú el seu ús en temes de SEO per millorar la velocitat de càrrega del servidor.
Com es crea el fitxer robots.txt
Abans us comentàvem que el funcionament de l’arxiu robots.txt és molt fàcil. Per exemple, per a la seva creació cal donar-li accés a l’arrel del domini i pujar l’arxiu en format text (txt) amb nom «robots.txt» a la instal·lació del primer nivell del nostre servidor on estigui ubicat la pàgina web que volem indexar .
No oblidis fer servir per a la creació de l’arxiu un arxiu de text, en Windows i Mac existeixen arxius de text pla que ens poden servir. Un exemple seria el següent: http: //marketing4ecommerce/robots.txt
Finalment, has de comprovar el funcionament del teu robots.txt, per a això, Google ens dóna una eina de prova a Google Search Console. Aquí pots comprovar com Googlebot llegirà el fitxer i t’informarà dels
Quan vam crear un lloc web nou necessitem que Google pugui accedir a la nostra pàgina per rastrar la nostra informació. Per realitzar aquesta tasca és necessari la creació d’un arxiu de text (amb extensión.txt) en el nostre domini per proveir al cercador de tota la informació que ens interessa que sàpiga sobre la nostra pàgina web o negoci. Alhora aquest arxiu .txt és usat per a impedir que els bots o robots.txt afegeixin dades i informació que no volem compartir amb la companyia de Mountain View. Segons Google, la definició d’un fitxer.txt és la següent:
«Un fitxer robots.txt és un arxiu que es troba a l’arrel d’un lloc i indica a quines parts no vols que accedeixin els rastrejadors dels motors de cerca. L’arxiu utilitza l’estàndard d’exclusió de robots, que és un protocol amb un petit conjunt d’ordres que es pot utilitzar per a indicar l’accés al lloc web per secció i per tipus específics de rastrejadors web (com els rastrejadors mòbils o els rastrejadors d’ordinador ) ».
Com funciona el fitxer robots.txt
El funcionament d’un robots.txt és més senzill del que sembla. El primer que hem de saber és per què serveix el fitxer robots.txt i que elements de la nostra web és capaç d’indexar o no.
A més, el funcionament dels robots.txt està limitat i hi ha altres sistemes perquè les nostres adreces web siguin trobades a la web.
Mapa del lloc web de l’arxiu robots.txt en una pàgina web.
Mapa del lloc web del funcionament d’un robots.txt i el seu arxiu a una pàgina web.
Tingues en compte que les instruccions del robots.txt són meres indicacions i no és una cosa definitiva. Per exemple, els robots de Google anomenats Googlebots si obeeixen les ordres del fitxer robots.txt, però altres cercadors (Yandex, Alltheweb, ASK o Altavista) no tenen perquè fer-ho.
Per exemple, Google no rastrejarà ni indexarà cap tipus d’informació del contingut de les pàgines que bloquegem amb el robots.txt, però, sí que s’indexarà totes les adreces o URL que estiguin en altres elements o pàgines web fins i tot encara que aquestes mateixes estiguin restringides dins del fitxer.txt, per tant, un consell important és que si la teva pàgina web tindrà informació sensible però no vols compartir-la, el millor és no crear-la.
Dos tipus de robots: user-agents i robots
Google diferència diverses classes de robots:
Els user-agents que utilitza de forma específica per a buscar i per donar instruccions. Per poder usar aquest robot s’ha d’afegir la següent comanda: User-agent: *
La resta de robots són Googlebots: el Googlebot-Mobile (específic per a dispositius mòbils) i el Googlebot-Image que és per a imatges i fotografia.
La comanda Disallow
Si volem limitar la indexació de fitxers per a aquest tipus de robots hem de fer servir la comanda «Disallow». Per exemple, si volem treure algun contingut de la nostra pàgina web posarem el següent:
Finalment, has de comprovar el funcionament del teu robots.txt, per a això, Google ens dóna una eina de prova a Google Search Console.
seowebconsultora– https://mentedigital.es/agencia-seo-barcelona/