Robots.txt
robots.txt on tekstitiedosto, joka sijoitetaan verkkosivuston juurihakemistoon ja joka ohjeistaa hakukoneiden indeksointirobotteja, mitä sivuja tai tiedostoja ne saavat tai eivät saa pyytää. Se on ensimmäinen puolustuslinja botien vuorovaikutuksen hallinnassa sivustosi infrastruktuurin kanssa ja auttaa optimoimaan indeksointibudjettia.
Ohjaa botit parhaaseen sisältöösi
Google allokoi sivustollesi rajoitetun "indeksointibudjetin" – eli sen, kuinka monta sivua sen botit indeksoivat päivässä. Jos botit tuhlaavat aikaa ylläpitopaneelien, tulostettavien versioiden tai ostoskorin/kassasivujen URL-osoitteiden indeksointiin, ne saattavat jättää huomiotta arvokkaat käännetyt tuotesivusi. robots.txt kertoo boteille: "Älä tuhlaa aikaa /admin/-kansioon, keskity sen sijaan /en/, /fr/, /de/-kansioihin." Kansainvälisille sivustoille sinun tulisi estää kielten automaattisen tunnistuksen uudelleenohjaussivujen, API-päätepisteiden ja kaikkien teknisten URL-osoitteiden indeksointi, joita ei tarvitse indeksoida. Älä kuitenkaan KOSKAAN vahingossa estä kielihakemistojasi – se on katastrofaalinen virhe, joka tuhoaa kaiken kansainvälisen hakukoneoptimoinnin.
Indeksointioikeuden salliminen vs. kieltäminen
Todellinen vaikutus
Sivustolla ei ole robots.txt-tiedostoa, botit indeksoivat 10 000 ostoskori-URL-osoitetta
Indeksointibudjetti tuhlaantuu, tuotesivuja indeksoidaan hitaasti
Uudet tuotteet ilmestyvät hakuun viikkojen kuluttua
Lisää robots.txt: Disallow /cart/, /checkout/, /api/
Botit keskittyvät 100 % tuote- ja kielisivuille
Uudet tuotteet indeksoitu 24 tunnin sisällä