Robots.txt
robots.txt on tekstitiedosto, joka sijoitetaan verkkosivuston juurihakemistoon ja joka ohjeistaa hakukonerobotteja, mitä sivuja tai tiedostoja ne saavat tai eivät saa pyytää. Se on ensimmäinen puolustuslinja hallittaessa sitä, miten botit ovat vuorovaikutuksessa sivustosi infrastruktuurin kanssa, ja se auttaa optimoimaan indeksointibudjettia.
Ohjaa botit parhaaseen sisältöösi
Google allokoi sivustollesi rajoitetun "indeksointibudjetin" – sen määrän sivuja, jotka sen botit indeksoivat päivässä. Jos botit tuhlaavat aikaa ylläköintipaneelien, tulostettavien duplikaattisivujen tai ostoskorin/kassasivujen URL-osoitteiden indeksointiin, ne saattavat jättää arvokkaat käännetyt tuotesivusi huomiotta. robots.txt kertoo boteille "Älä tuhlaa aikaa /admin/-hakemistoon, keskity sen sijaan /en/, /fr/, /de/-hakemistoihin." Kansainvälisillä sivustoilla sinun tulisi estää kielten automaattisen tunnistuksen uudelleenohjaussivujen, API-päätepisteiden ja kaikkien teknisten URL-osoitteiden indeksointi, joita ei tarvitse indeksoida. Älä kuitenkaan koskaan estä vahingossa kielihakemistojasi – se on katastrofaalinen virhe, joka tuhoaa kaiken kansainvälisen SEO:n.
Salliminen vs. estäminen indeksointia
Todellinen vaikutus
Sivustolla ei ole robots.txt-tiedostoa, botit indeksoivat 10 000 ostoskorin URL-osoitetta
Indeksointibudjetti hukattu, tuotesivuja indeksoidaan hitaasti
Uudet tuotteet ilmestyvät hakuun viikkojen kuluessa
Lisää robots.txt: Disallow /cart/, /checkout/, /api/
Botit keskittyvät 100 % tuote- ja kielisivuihin
Uudet tuotteet indeksoidaan 24 tunnin kuluessa