Sen hallinta, löytääkö ja lainaako ChatGPT sisältöäsi, perustuu kolmeen erilliseen keinoon: robots.txt, metatagit ja HTTP-otsikot. Useimmat tuntevat näistä yhden. Kun ymmärrät kaikki kolme, voit valita näkyvyysstrategiasi harkiten.
Kyse ei ole pelkästä estämisestä tai sallimisesta. Kyse on tarkoituksellisuudesta. Eri ohjeet johtavat eri lopputuloksiin. Väärä yhdistelmä voi kääntyä itseäsi vastaan.
Kolme ohjaustasoa
Sinulla on kolme tapaa kertoa ChatGPT:n roboteille, miten sisältöäsi saa käyttää.
Taso 1: robots.txt
Tämä verkkotunnuksesi juuressa oleva tiedosto kertoo roboteille, mihin ne pääsevät koko sivustollasi tai sen tietyissä osissa. Se ohjaa löytämistä ja läpikäyntiä.
Taso 2: Meta robots -tagit
Nämä yksittäisten sivujen HTML-metatagit kertovat roboteille, mitä tehdä sen jälkeen, kun ne ovat löytäneet ja lukeneet sivun. Ne ohjaavat kyseisen sivun indeksointia ja käyttöä.
Taso 3: X-Robots-Tag-HTTP-otsikot
Tämä palvelimesi HTTP-vastauksessa oleva otsikko toimii samaan tapaan kuin meta robots -tagit, mutta sen voi asettaa koko sivustolle tai tietyille sisältötyypeille. Se on hyödyllinen muulle kuin HTML-sisällölle, kuten PDF-tiedostoille.
Useimmat keskittyvät robots.txt-tiedostoon ja unohtavat kaksi muuta. Kaikki kolme toimivat yhdessä.
Taso 1: robots.txt ja OAI-SearchBot
Robots.txt-tiedostosi viestii OAI-SearchBotin (ChatGPT:n hakurobotin) kanssa. ChatGPT noudattaa tavallisia robots.txt-ohjeita.
Salli OAI-SearchBotin pääsy sisältöösi
User-agent: OAI-SearchBot
Allow: /
Tämä on oletus. OAI-SearchBot käy läpi koko sivustosi, ja sisältösi tulee näkyviin ChatGPT-haussa.
Estä OAI-SearchBot kokonaan
User-agent: OAI-SearchBot
Disallow: /
Tämä estää ChatGPT-hakua löytämästä sisältöäsi. Sivusi eivät näy ChatGPT:n vastauksissa.
Salli OAI-SearchBot mutta rajoita käyntitahtia
User-agent: OAI-SearchBot
Allow: /
Crawl-delay: 1
Crawl-delay-ohje käskee robotin odottaa 1 sekunnin pyyntöjen välillä. Se auttaa hallitsemaan palvelimen kuormaa, jos ChatGPT:n robotti käy palvelimellasi liian tiheään.
Estä tietyt osiot
User-agent: OAI-SearchBot
Disallow: /admin/
Disallow: /private/
Allow: /
Tämä estää /admin/- ja /private/-hakemistojen läpikäynnin ja sallii pääsyn kaikkeen muuhun.
Pääperiaate: robots.txt ohjaa löytämistä ja läpikäyntiä. Jos estät robotin tässä, se ei pääse sivulle lainkaan, joten se ei myöskään voi lukea sivun metatageja.
Taso 2: Meta robots -tagit, ohjaus löytämisen jälkeen
Kun OAI-SearchBot on käynyt sivullasi (eli sitä ei estetty robots.txt-tiedostossa), meta robots -tagit kertovat sille, mitä sisällöllä tehdään.
Meta robots -tagin rakenne
<meta name="robots" content="directive1, directive2">
Tärkeimmät ohjeet tekoälyroboteille
noindex: älä indeksoi tätä sivua äläkä sisällytä sitä tiivistelmiin. Robotti näkee sivun mutta ei käytä sitä.
nofollow: älä seuraa tämän sivun linkkejä. Robotti voi nähdä sivun, mutta ei käy sen sisältämissä linkeissä.
noai: älä käytä tätä sisältöä tekoälymallien kouluttamiseen. Sivu voi näkyä hakutuloksissa, mutta OpenAI ei voi käyttää sitä kielimallien kouluttamiseen.
noimageai: älä käytä tämän sivun kuvia kuvanluontimallien kouluttamiseen.
Esimerkki
<meta name="robots" content="noindex">
Tämä käskee kaikkia robotteja (Google, Bing, ChatGPT ja muut) olla indeksoimatta sivua. ChatGPT ei lainaa sitä, Google ei näytä sitä eikä Bing sisällytä sitä.
Vain OAI-SearchBotille
<meta name="robots" content="noai">
Tämä käskee nimenomaan OAI-SearchBotia olemaan käyttämättä sisältöä koulutukseen. Sivua voidaan silti lainata ChatGPT-haun tuloksissa, mutta OpenAI ei voi käyttää sitä mallin koulutukseen.
Tärkeä sääntö: älä yhdistä robots.txt-estoa ja noindexiä
Tämä on tärkein tekninen sääntö. Älä koskaan tee näin:
User-agent: OAI-SearchBot
Disallow: /article/
ja lisää samalla artikkelisivulle tämä:
<meta name="robots" content="noindex">
Syy: jos estät OAI-SearchBotin robots.txt-tiedostossa pääsemästä sivulle /article/, robotti ei koskaan hae sitä sivua. Se ei koskaan lue metatagia. Noindex-ohjeella ei ole vaikutusta, koska robotti ei näe sitä. Lisäksi jos sivullesi linkitetään muilta sivustoilta, jotkin robotit saattavat indeksoida sen silti, koska ne löysivät sen linkkien kautta, vaikka robots.txt kielsi.
Sääntö: käytä joko robots.txt-tiedostoa TAI metatageja, älä molempia samaan ohjeeseen.
Hyvä käytäntö: käytä robots.txt-tiedostoa koko sivuston läpikäynnin ohjaukseen (kokonaisten osioiden salliminen tai estäminen). Käytä metatageja sivukohtaiseen hallintaan (yksittäiset sivut, joille on erityissäännöt).
Taso 3: X-Robots-Tag-HTTP-otsikot
Jos haluat hallita robottien toimintaa muun kuin HTML-sisällön (PDF-tiedostot, kuvat ja niin edelleen) osalta tai asettaa säännöt usealle sivulle ilman jokaisen sivun muokkaamista, käytä X-Robots-Tag-HTTP-otsikkoa.
Esimerkki:
X-Robots-Tag: noindex, nofollow
Tämä asetetaan palvelimen tasolla, ja se käskee kaikkia robotteja olemaan indeksoimatta ja seuraamatta linkkejä jokaisella sivulla, joka palvellaan tällä otsikolla.
Voit rajata sen valikoivasti:
X-Robots-Tag: OAI-SearchBot: noai
Tämä käskee vain OAI-SearchBotia olemaan käyttämättä sisältöäsi koulutukseen, mutta sallii sen haussa.
Strategiset valinnat: mitä oikeasti haluat
Valintasi riippuu tavoitteestasi.
Tavoite 1: mahdollisimman paljon ChatGPT-lainauksia
Salli robots.txt-tiedostossa, älä käytä noindex-metatageja. Anna OAI-SearchBotin löytää ja lainata sinua.
User-agent: OAI-SearchBot
Allow: /
Ei rajoittavia metatageja.
Tavoite 2: näy ChatGPT-haussa mutta estä mallin koulutus
Salli robots.txt-tiedostossa, käytä noai-metatagia.
User-agent: OAI-SearchBot
Allow: /
<meta name="robots" content="noai">
Tavoite 3: piiloudu ChatGPT:ltä mutta salli muut hakukoneet
Estä OAI-SearchBot, salli muut.
User-agent: OAI-SearchBot
Disallow: /
User-agent: Googlebot
Allow: /
User-agent: Bingbot
Allow: /
Tavoite 4: piiloudu kaikilta tekoälyroboteilta
Estä useita robotteja.
User-agent: OAI-SearchBot
Disallow: /
User-agent: GPTBot
Disallow: /
User-agent: Googlebot
Allow: /
Noudattamisen ongelma: kaikki tekoälyrobotit eivät kunnioita sääntöjä
Epämukava totuus: eri tekoälyrobotit noudattavat sääntöjä eri tavoin.
Testien mukaan ChatGPT kunnioittaa robots.txt-tiedostoa ja joitakin metatageja. Perplexity kunnioittaa molempia johdonmukaisesti. Muiden tekoälyjärjestelmien noudattaminen vaihtelee. Jotkin vanhemmat tekoälykaapparit eivät kunnioita robots.txt-tiedostoa lainkaan.
Voit hallita OpenAI:n robotteja tehokkaasti. Et voi täysin hallita jokaista tekoälyjärjestelmää, joka voi kaapata sisältöäsi.
Näin WEMASY auttaa hallitsemaan robottien pääsyä
WEMASYn Sivustonrakentajassa on robots.txt-editori, jolla voit määrittää OAI-SearchBotin oikeudet ilman raakatiedostojen muokkausta. Voit lisätä meta robots -tagit yksittäisille sivuille SEO-asetusten paneelissa. Sivustonrakentaja asettaa valmiiksi hyvät käytännöt: OAI-SearchBot on sallittu hakunäkyvyyttä varten, ja voit lisätä noai-ohjeen, jos et halua mallin koulutusta. Seuraa läpikäyntilokeja nähdäksesi, mitkä robotit käyvät sivustollasi, ja säädä oikeuksia sen mukaan. Katso WEMASYn robottien hallintatyökalut.
Usein kysyttyä
Jos estän OAI-SearchBotin robots.txt-tiedostossa, voiko sisältöni silti näkyä ChatGPT:ssä linkkien kautta?
Epätodennäköisesti. OAI-SearchBot on ChatGPT:n pääasiallinen hakurobotti. Jos se on estetty, et näy ChatGPT-haussa. Jos kuitenkin jokin toinen järjestelmä linkittää sisältöösi, toinen robotti saattaa hakea sen. Tätä ei voi ennustaa. WEMASYn Sivustonrakentajalla voit tehdä tämän suoraan verkkosivustollasi.
Mitä noai-metatagi oikeastaan tekee?
Se käskee OpenAI:ta olemaan käyttämättä sisältöäsi kielimallien kouluttamiseen. Sisältösi voi silti näkyä ChatGPT-haun tuloksissa lainauksineen. Ilman tätä tagia OpenAI voi käyttää sisältöäsi ChatGPT:n ja muiden mallien kouluttamiseen.
Pitäisikö käyttää noindexiä, jos en halua näkyä ChatGPT:ssä?
Kyllä, mutta ymmärrä, mitä se tekee: noindex käskee kaikkia robotteja (Google, Bing, ChatGPT ja muut) olemaan indeksoimatta sivua. Käytä sitä, jos haluat piiloutua kaikista hakutuloksista. Jos haluat piiloutua vain ChatGPT:ltä mutta pysyä näkyvissä Googlessa, älä käytä noindexiä. Estä sen sijaan OAI-SearchBot robots.txt-tiedostossa.
Kauanko kestää, ennen kuin robots.txt- tai metatagimuutokset tulevat voimaan?
Robots.txt-muutokset otetaan yleensä huomioon 24 tunnin kuluessa. Metatagimuutokset otetaan huomioon, kun robotti käy sivulla seuraavan kerran. Välitöntä testausta varten voit käyttää OpenAI:n robottitestityökalua tai Bing Webmaster Toolsia.
Voinko estää kaikki tekoälyrobotit ja sallia Googlen?
Kyllä. Estä robots.txt-tiedostossa GPTBot, OAI-SearchBot, ChatGPT-User ja muut tekoälyrobotit ja salli Googlebot ja Bingbot. Tämä ei kuitenkaan estä sellaisia tekoälyjärjestelmiä, jotka eivät noudata robots.txt-tiedostoa, pääsemästä sisältöösi.
Mitä jos robotti näkee ristiriitaiset X-Robots-Tag- ja robots.txt-ohjeet?
Robots.txt arvioidaan ensin. Jos robots.txt estää robotin, se ei hae sivua, joten se ei koskaan näe X-Robots-Tagia. Jos robots.txt sallii sen, X-Robots-Tag-ohjeet ovat voimassa. Varmista, että ne ovat linjassa.