Hakukoneet käyvät sivustosi läpi jatkuvasti, seuraavat linkkejä ja indeksoivat sivuja. Mutta kaikkia sivuja ei kannata indeksoida. Sinulla on yksityisiä sivuja, hallinta-alueita, testisivuja ja kaksoissivuja, jotka tuhlaavat läpikäyntibudjettia. Robots.txt on yksinkertainen tekstitiedosto, joka kertoo hakukoneille, mitä sivuja ne saavat ja eivät saa käydä läpi. Se on portinvartija sivustosi ja hakukonerobottien välillä.
Robots.txt on pelkkä tekstitiedosto, joka sijaitsee verkkosivustosi juurihakemistossa (yoursite.com/robots.txt). Se sisältää ohjeita hakukoneiden läpikäyntirobooteille siitä, mitä sivuja ja sivustosi osia ne saavat käydä läpi. Robots.txt:n avaamiseen ei tarvita kirjautumista. Se on julkinen. Kuka tahansa voi mennä osoitteeseen yoursite.com/robots.txt ja nähdä ohjeesi.
Hakukoneiden on tarkoitus noudattaa robots.txt-sääntöjä. Useimmat noudattavat. Jotkut eivät. Hyvin käyttäytyvät läpikäyntirobotit (Google, muut maineikkaat hakukoneet) kunnioittavat robots.txt:ää. Pahantahtoiset toimijat ja haitalliset botit ohittavat sen usein.
Miltä robots.txt näyttää?
Yksinkertainen robots.txt-tiedosto näyttää tältä:
User-agent: *
Disallow: /admin/
Disallow: /private/
Allow: /blog/
Sitemap: https://www.example.com/sitemap.xml
Tämä kertoo kaikille boteille (User-agent: *), että ne eivät saa käydä läpi /admin/- tai /private/-osioita. Se sallii nimenomaisesti /blog/-osion (mikä on hyödyllistä, jos yläkansio on estetty). Se myös osoittaa botit sivukarttaasi.
Tässä on toinen esimerkki tarkemmilla säännöillä:
User-agent: Googlebot
Disallow: /temp/
User-agent: *
Disallow: /test/
Disallow: /*.pdf
Crawl-delay: 5
Tämä estää vain Googlen läpikäyntirobotin /temp/-osiosta. Kaikki muut botit estetään /test/-osiosta ja kaikista PDF-tiedostoista. Crawl-delay käskee botteja odottamaan 5 sekuntia pyyntöjen välillä.
Miten robots.txt auttaa SEO:ssa
Robots.txt auttaa SEO:ssa yhdellä pääasiallisella tavalla: se säästää läpikäyntibudjettia. Hakukoneet varaavat jokaiselle sivustolle rajallisen määrän läpikäyntibudjettia. Pienillä sivustoilla läpikäyntibudjetti on harvoin ongelma. Suurilla sivustoilla, joilla on tuhansia sivuja, läpikäyntibudjetilla on väliä.
Jos sivustollasi on 10 000 sivua, mutta vain 500 on tärkeitä, haluat, että botit käyvät nuo 500 tärkeää sivua läpi useita kertoja sen sijaan, että ne levittäisivät läpikäyntibudjettinsa kaikille 10 000 sivulle. Robots.txt estää bottien hukkaamasta aikaa epäolennaisiin sivuihin.
Yleisiä estettäviä sivuja: hallinta-alueet, kirjautumissivut, kiitossivut, testisivut, kaksoissisältö, istuntosivut ja väliaikainen sisältö. Näiden sivujen estäminen käskee botteja keskittymään sisältöön, jolla on merkitystä.
Mitä ei kannata estää robots.txt:ssä
Älä estä sivuja, joilla haluat sijoittua. Älä estä blogiosiotasi tai pääsisältöalueitasi. Älä estä CSS-, JavaScript- tai kuvatiedostoja, joita tarvitaan sivujen _blocked_öimiseen oikein (ellet nimenomaan halua estää indeksointia).
Google suosittelee, ettei CSS-, JavaScript- ja kuvatiedostoja estetä, vaikka et haluaisi niitä indeksoitavan. Näiden resurssien estäminen voi estää Googlea _blocked_öimästä ja ymmärtämästä sivujasi kunnolla.
Älä käytä robots.txt:ää arkaluonteisen tiedon piilottamiseen. Robots.txt on julkinen. Kuka tahansa voi lukea yoursite.com/robots.txt. Jos haluat todella piilottaa jotain, käytä salasanasuojausta tai palvelimen todennusta, ei robots.txt:ää.
Miten luot robots.txt-tiedoston
Robots.txt:n luominen on yksinkertaista. Se on pelkkä tekstitiedosto. Useimmat sivustonrakentajat ja CMS-alustat luovat sellaisen automaattisesti.
Jos CMS:si ei luonut sellaista, luo se käsin. Avaa tekstieditori. Kirjoita sääntösi. Tallenna se nimellä "robots.txt" (ei "robots.txt.txt"). Lataa se sivustosi juurihakemistoon (yoursite.com/robots.txt).
Testaa robots.txt-tiedostosi. Mene Google Search Consoleen, valitse omaisuutesi, siirry Robots.txt Tester -työkaluun ja liitä sääntösi. Google näyttää, mitä tiedosto estää ja sallii. Tämä varmistaa, että säännöt toimivat tarkoitetulla tavalla.
Yleisiä robots.txt-sääntöjä ja esimerkkejä
Tässä on yleisin sääntö: estä kaikki botit tietystä hakemistosta.
User-agent: *
Disallow: /admin/
Näin estät tietyn tiedostotyypin (kuten PDF:t):
User-agent: *
Disallow: /*.pdf
Näin estät kaikki botit paitsi Googlen:
User-agent: *
Disallow: /
User-agent: Googlebot
Disallow:
Näin lisäät läpikäyntiviiveen (odota X sekuntia pyyntöjen välillä):
User-agent: *
Crawl-delay: 10
Näin osoitat botit sivukarttaasi:
Sitemap: https://www.example.com/sitemap.xml
Sitemap: https://www.example.com/sitemap2.xml
Robots.txt:n tärkeät rajoitukset
Robots.txt ei ole tietoturvatyökalu. Se on kohteliaisuusjärjestelmä. Pahat botit, hakkerit ja haitalliset läpikäyntirobotit ohittavat robots.txt:n kokonaan. Älä käytä sitä arkaluonteisen datan piilottamiseen tai tärkeiden sivujen suojaamiseen. Käytä niihin salasanasuojausta.
Robots.txt ei takaa pois jäämistä hakutuloksista. Google indeksoi joskus robots.txt:ssä listattuja sivuja, jos niihin linkitetään muilta indeksoiduilta sivuilta. Esto estää läpikäynnin, mutta ei indeksointia, jos sivuun linkitetään muualta.
Robots.txt ei ole noindex. Jos haluat estää indeksoinnin kokonaan, käytä robots-metatagia tai X-Robots-Tag-otsaketta, ei robots.txt:ää. Robots.txt hallitsee vain läpikäyntiä, ei indeksointia.
Usein kysytyt kysymykset
Vaikuttaako robots.txt SEO-sijoituksiin?
Epäsuorasti. Robots.txt ei vaikuta suoraan sijoituksiin. Ohjaamalla läpikäyntibudjettia tärkeille sivuille autat kuitenkin hakukoneita käymään läpi ja indeksoimaan parhaan sisältösi useammin. Parempi läpikäynti johtaa parempaan indeksointiin, joka johtaa parempiin sijoittumismahdollisuuksiin. Robots.txt siis auttaa sijoituksia epäsuorasti läpikäyntibudjetin hallinnan kautta. WEMASYn Sivustonrakentajalla voit rakentaa tämän suoraan omalle sivustollesi.
Voinko estää Googlea käymästä sivustoani läpi?
Kyllä, mutta sinun ei pitäisi. Voit estää Googlebotin robots.txt:ssä, mutta se estää Googlea indeksoimasta sivustoasi. Sivustosi katoaa Google-hausta. Ainoa syy tehdä näin on, jos viet sivustosi pois verkosta tai siirrät sitä etkä halua vanhan version indeksoitavan. Lähes kaikissa tapauksissa sinun pitäisi sallia Googlen läpikäynti.
Erottaako robots.txt isot ja pienet kirjaimet?
Osittain. User-agent- ja Disallow-komennot eivät erota isoja ja pieniä kirjaimia. Estämäsi polut erottavat isot ja pienet kirjaimet useimmilla palvelimilla. /Admin/ ja /admin/ ovat eri polkuja. Testaa sääntösi Google Search Consolessa varmistaaksesi, että ne toimivat tarkoitetulla tavalla.
Pitäisikö kaksoissivut estää robots.txt:llä?
Se riippuu. Robots.txt estää läpikäynnin mutta ei indeksointia. Jos haluat estää kaksoissivujen indeksoinnin, käytä sen sijaan canonical-tagia tai robots-metatagin noindex-arvoa. Käytä robots.txt:ää estämään sellaisten epäolennaisten kaksoiskappaleiden läpikäynti, joiden Googlen löytämisellä ei ole sinulle väliä.
Pitääkö minun ilmoittaa Googlelle, kun muutan robots.txt:ää?
Ei. Google käy robots.txt:n läpi usein. Muutokset tulevat voimaan yleensä tunneissa. Sinun ei tarvitse lähettää sivustoasi uudelleen eikä ilmoittaa kenellekään. Päivitä vain robots.txt ja odota seuraavaa läpikäyntiä.
Mikä ero on robots.txt:llä ja robots-metatageilla?
Robots.txt estää läpikäynnin tiedostotasolla. Robots-metatagit hallitsevat indeksointia sivutasolla. Robots.txt sanoo, että sivua ei saa käydä läpi. Robots-metatagit (kuten noindex) sanovat, että sivun saa käydä läpi, mutta sitä ei pitäisi indeksoida. Käytä robots.txt:ää suurille osioille, jotka haluat estää. Käytä robots-metatageja yksittäisille sivuille, jotka haluat läpikäydyiksi mutta et indeksoitaviksi.