Robots.txt on tekstitiedosto, joka sijaitsee verkkosivustosi juurihakemistossa. Se kertoo roboteille, mihin sivuihin ne pääsevät ja mitkä ovat kiellettyjä. Perinteisille hakukoneille robots.txt on valinnainen. Tekoälyroboteille se on ensisijainen työkalu, jolla hallitset, indeksoidaanko sisältösi vai estetäänkö se.
Ero on merkittävä. Google noudattaa robots.txt-tiedostoa, mutta käy silti läpi estämiäsi sivuja, jos muut sivustot linkittävät niihin. Tekoälyrobotit noudattavat robots.txt-tiedostoa tiukemmin. Estä GPTBot robots.txt-tiedostossasi, niin ChatGPT ei siteeraa sisältöäsi. Salli se, niin sisältösi on käytettävissä tekoälyn viittauksiin. Tässä luvussa kerrotaan, miksi kutakin suurta tekoälyrobottia kutsutaan, miten tietyt botit estetään ja mikä strategia sopii brändillesi.
Miten robots.txt toimii tekoälyroboteille
Kun robotti vierailee sivustollasi, ensimmäinen asia, jonka se tekee, on tarkistaa robots.txt-tiedosto. Se lukee tiedostoa rivi riviltä etsien sääntöjä, jotka koskevat sitä. Jos robots.txt sanoo "disallow: /", mikään robotti ei pääse yhdellekään sivulle. Jos se sanoo "disallow: /admin/", robotit pääsevät kaikkeen paitsi admin-kansioon.
Tekoälyrobotit noudattavat näitä sääntöjä johdonmukaisemmin kuin Googlebot. Jos estät ClaudeBotin robots.txt-tiedostossa, Claude ei indeksoi sisältöäsi. Piste. Googlebot saattaa silti käydä läpi estämiäsi sivuja, jos sisältöön linkitetään muilta sivustoilta, mutta tekoälyrobotit pysähtyvät robots.txt-ohjeeseen.
Muoto on yksinkertainen. Kirjoitat säännöt, jotka määrittävät, mitkä user agentit (robottien nimet) kuuluvat mihinkin sääntöön, ja luettelet sitten, mihin nuo robotit pääsevät ja mihin eivät. Tiedosto on pelkkää tekstiä. Ei merkintäkieltä. Ei erityistä muotoilua. Vain sääntöjä.
Suuret tekoälyrobotit ja niiden user agent -nimet
Jokaisella robotilla on user agent -nimi. Kun se vierailee sivustollasi, se tunnistautuu tuolla nimellä. Käytät samaa nimeä robots.txt-tiedostossasi luodaksesi juuri kyseistä robottia koskevia sääntöjä.
Tässä ovat tärkeimmät tekoälyrobotit, jotka kannattaa tuntea:
GPTBot (OpenAI)
GPTBot on OpenAI:n robotti. Se indeksoi sisältöä ChatGPT:lle. Kun käyttäjä ottaa verkkohaun käyttöön ChatGPT:ssä, järjestelmä hakee tietoa sivuilta, jotka GPTBot on indeksoinut. GPTBot käy sivustoja läpi aktiivisesti, mutta noudattaa robots.txt-sääntöjä.
Salliaksesi GPTBotin älä tee mitään. Se indeksoi oletuksena. Estääksesi sen lisää nämä rivit robots.txt-tiedostoosi:
User-agent: GPTBot
Disallow: /
Tuo sääntö sanoo "GPTBot, et pääse yhdellekään tämän sivuston sivulle." Jos haluat estää vain tietyt osiot, voit olla täsmällisempi. Estä /admin/-kansio mutta salli muu:
User-agent: GPTBot
Disallow: /admin/
ClaudeBot (Anthropic)
ClaudeBot on Anthropicin robotti. Se indeksoi sisältöä Clauden verkkohakua varten. ClaudeBot on aktiivisempi kuin GPTBot. Se tekee enemmän pyyntöjä ja käy sivustoilla useammin. Jos sallit ClaudeBotin, seuraa palvelimesi resursseja.
ClaudeBot tunnistautuu tällä user agent -nimellä. Käytä sitä robots.txt-tiedostossasi samalla tavalla kuin GPTBotia:
User-agent: ClaudeBot
Disallow: /
PerplexityBot (Perplexity)
PerplexityBot käy verkkoa läpi Perplexityä varten. Se on yksi tiheimmin vierailevista roboteista. Se päivittää sisältöä useita kertoja päivässä, koska Perplexity painottaa tuoreutta. Jos estät PerplexityBotin, sisältösi ei näy Perplexityn vastauksissa.
User-agent: PerplexityBot
Disallow: /
Googlebot-Extended (Google AI)
Googlella on kaksi robottia. Googlebot indeksoi perinteistä hakua varten. Googlebot-Extended indeksoi Googlen tekoälyjärjestelmiä, kuten AI Overviewsia ja Geminiä, varten. Voit estää Googlebot-Extendedin ja sallia Googlebotin.
User-agent: Googlebot-Extended
Disallow: /
Muut robotit
Myös muilla hakukoneilla on omat robottinsa. Periaate on sama. Selvitä user agent -nimi ja luo sääntö.
Strategia: sallia vai estää?
Useimpien brändien kannattaa sallia tekoälyrobottien pääsy sisältöönsä. Tekoälyviittaukset tuovat laadukasta liikennettä. Käyttäjät, jotka löytävät sisältösi ChatGPT:n tai Perplexityn kautta, ovat jo päättäneet, että vastauksesi on arvokas. He klikkaavat läpi ja konvertoituvat useammin kuin perinteisen haun kävijät.
Poikkeuksia on. Jos sinulla on omaa tietoa, liikesalaisuuksia tai sisältöä, jonka haluat pitää yksinoikeudella, tekoälyrobottien estäminen on järkevää. Jos sinulla on maksumuurin takana olevaa sisältöä, saatat estää tietyt robotit, jotta tekoälytiivistelmät eivät anna siihen ilmaista pääsyä. Jos sinulla on sisältöä, joka on kiusallista tai vanhentunutta, voit estää tekoälyrobotit, kunnes olet päivittänyt sen.
Mutta suurimmalle osalle sisällöstä laskelma on yksinkertainen. Tekoälynäkyvyys tuo enemmän mahdollisuuksia kuin riskejä. Salli robotit. Tule siteeratuksi. Tuo liikennettä.
Tiettyjen robottien estäminen muiden sallimisen ohella
Sinun ei tarvitse valita kaikkea tai ei mitään. Voit sallia jotkin tekoälyrobotit ja estää toiset.
Salli Perplexity ja GPTBot mutta estä ClaudeBot, koska ClaudeBotin indeksointitiheys rasittaa palvelintasi:
User-agent: ClaudeBot
Disallow: /
User-agent: GPTBot
Disallow:
User-agent: PerplexityBot
Disallow:
Tyhjä "Disallow:" tarkoittaa, ettei rajoituksia ole. Tuo robotti pääsee kaikkeen.
Voit myös estää tekoälyrobotit tietyistä osioista. Salli GPTBot kaikkialla paitsi hallintapaneelissasi:
User-agent: GPTBot
Disallow: /admin/
Salli sen käydä blogisi läpi mutta ei tuotteitasi:
User-agent: GPTBot
Disallow: /products/
Jokerisääntö ja oletuskäyttäytyminen
Voit luoda säännöt tietyille roboteille ja oletussäännön kaikille muille. Tähti (*) on jokerimerkki, joka koskee kaikkia robotteja, joita ei ole erikseen mainittu.
Tämä sääntö estää kaikki robotit pääsemästä /private/-kansioon mutta sallii kaiken muun:
User-agent: *
Disallow: /private/
Tämä sääntö estää kaikkia robotteja pääsemästä mihinkään:
User-agent: *
Disallow: /
Crawl-delay-ohje
Voit käskeä robotteja hidastamaan. Crawl-delay-ohje kertoo robotille, että sen pitää odottaa tietty määrä sekunteja pyyntöjen välillä. Jos palvelimesi kamppailee ClaudeBotin aktiivisen indeksoinnin kanssa, voit käskeä sen hidastamaan:
User-agent: ClaudeBot
Crawl-delay: 5
Se tarkoittaa, että ClaudeBotin täytyy odottaa 5 sekuntia jokaisen pyynnön välillä. Se hidastaa indeksointia mutta vähentää palvelimen kuormaa.
Miten robots.txt liittyy sivukarttaasi
Robots.txt-tiedostosi voi viitata sivukarttaasi. Lisää tämä rivi robots.txt-tiedostosi loppuun:
Sitemap: https://yoursite.com/sitemap.xml
Robotit tarkistavat robots.txt-tiedostosi ja näkevät sivukarttaviittauksen. Ne tietävät, mistä löytyy sisältösi kartta. Se nopeuttaa löytämistä. Se ei muuta sitä, mihin robotit pääsevät. Se vain kertoo niille, mistä katsoa.
Robots.txt-tiedoston testaaminen
Voit testata robots.txt-tiedostosi ennen käyttöönottoa. Google Search Consolessa on robots.txt-testaaja. Syötät URL-osoitteen ja user agent -nimen, ja se kertoo, pääseekö kyseinen robotti sille sivulle robots.txt-sääntöjesi mukaan.
Useimmat sisältöalustat, myös WEMASY, luovat robots.txt-tiedoston automaattisesti. Tarkista sivustosi asetukset. Jos voit muokata sitä, voit lisätä omia sääntöjä. Jos et voi, ota yhteyttä web-hotellin tarjoajaasi.
Usein kysytyt kysymykset
Jos estän kaikki tekoälyrobotit, sijoittuuko sivustoni Googlessa?
Kyllä. Tekoälyrobottien (GPTBot, ClaudeBot ja niin edelleen) estäminen ei vaikuta Google-sijoituksiin. Google käyttää Googlebotia perinteiseen hakuun ja Googlebot-Extendediä tekoälyominaisuuksiin. Jos haluat estää vain tekoälyrobotit mutta säilyttää Googlen pääsyn, estä nimenomaan tekoälyrobottien nimet ja jätä Googlebot ja Googlebot-Extended estämättä. WEMASYn Sivustonrakentajalla voit ottaa sen käyttöön suoraan omalla verkkosivustollasi.
Voinko estää tekoälyn koulutusrobotit mutta sallia tekoälyhaun robotit?
Raja koulutus- ja hakurobottien välillä on häilyvä. Useimmat suuret tekoälyyritykset käyttävät nykyään samoja robotteja molempiin tarkoituksiin. Jos estät tekoälyrobotin kokonaan, estät sekä sen koulutuspääsyn että hakupääsyn. Robots.txt:llä et voi estää valikoiden pelkkää koulutusta tai pelkkää hakua. Estät robotin kokonaan tai sallit sen.
Mitä tapahtuu, jos minulla ei ole robots.txt-tiedostoa?
Jos sinulla ei ole robots.txt-tiedostoa, robotit olettavat pääsevänsä kaikkeen. Kaikki robotit (Google, GPTBot, ClaudeBot, kaikki) indeksoivat koko sivustosi. Useimmilla sivustoilla tämä on toivottu käyttäytyminen. Jos haluat estää tiettyjä robotteja tai osioita, tarvitset robots.txt-tiedoston.
Voivatko tekoälyrobotit ohittaa robots.txt-tiedostoni?
Teoriassa kyllä, mutta ne eivät tee niin. Tekoälyrobotit noudattavat robots.txt-tiedostoa tiukemmin kuin Googlebot. Jos käsket tekoälyrobotin pysyä poissa, se pysyy poissa. Robottien kehittäjät tietävät, että robots.txt-tiedoston noudattamatta jättäminen vahingoittaa heidän suhteitaan julkaisijoihin. He noudattavat sääntöjä.
Kuinka usein robots.txt-tiedosto pitää päivittää?
Se pitää päivittää vain, jos estosääntösi muuttuvat. Jos päätät estää uuden robotin tai avata pääsyn aiemmin estettyyn osioon, päivitä se. Muuten, kun olet sen asettanut, voit jättää sen rauhaan. Robotit tarkistavat sen jokaisella vierailulla, joten muutokset tulevat voimaan heti.
Pitäisikö estää tekoälyrobotit pääsemästä kilpailija-analyysiini tai yksityiseen tutkimukseeni?
Kyllä. Jos sinulla on sivuja, joilla on omaa tutkimusta, kilpailija-analyysia tai sisältöä, jota et halua julkisesti saataville, estä kaikki robotit näistä osioista. Lisää disallow-sääntö kyseiselle kansiolle tai sivuille. Robotit eivät indeksoi niitä, eikä tekoälyjärjestelmillä ole pääsyä siteerata niitä.