Sivustosi SSL-varmenne toimii ihmisvierailijoille aivan hyvin. Mutta tekoälyrobotit, kuten GPTBot, ClaudeBot ja PerplexityBot, eivät pääse sisältöösi ollenkaan.
Useimmat GEO-strategiat keskittyvät robots.txt-tiedostoon ja sisällön optimointiin. Mutta ennen kuin tekoälyrobotti voi lukea robots.txt-tiedostosi, sen täytyy suorittaa onnistuneesti HTTPS-kättely palvelimesi kanssa. Jos kättely epäonnistuu, sisältösi on tekoälylle näkymätöntä riippumatta siitä, kuinka hyvin sen optimoit.
Tämä artikkeli kertoo, miksi HTTPS ja SSL-varmenteet ovat tekoälynäkyvyyden perusta. Opit, mitkä suojauskerrokset vaikuttavat roboteihin, mitkä SSL-virheet estävät tekoälyindeksoinnin ja miten varmistat, että kaikki suuret tekoälyalustat pääsevät sivustollesi.
Mitä HTTPS ja SSL-varmenteet ovat
HTTPS on HTTP, jonka päällä on suojauskerros. Kun vierailija tai robotti ottaa yhteyden verkkosivustoosi, HTTPS salaa selaimen (tai robotin) ja palvelimesi välillä kulkevan tiedon SSL:llä (Secure Sockets Layer) tai sen nykyaikaisella seuraajalla TLS:llä (Transport Layer Security).
SSL-varmenne on digitaalinen todiste, jolla palvelimesi osoittaa olevansa se, joka väittää olevansa. Siinä on sivustosi verkkotunnus, varmenteen myöntäjä ja voimassaoloaika. Kun robotti saapuu sivustollesi, palvelimesi näyttää varmenteen henkilöllisyyden todisteeksi. Robotti tarkistaa varmenteen ennen kuin se lukee mitään sisältöä.
Tämä on nykyaikaisilla selaimilla ihmisvierailijalle näkymätön tapahtuma, hän näkee vain lukon. Mutta jos varmenne puuttuu, on vanhentunut, itse allekirjoitettu tai ei vastaa verkkotunnustasi, kättely epäonnistuu. Ja se estää robotit kokonaan.
Miksi tekoälyrobotit tarvitsevat HTTPS:n päästäkseen sisältöösi
Tekoälyrobotit tekevät HTTP-pyyntöjä samalla tavalla kuin Googlebot. Ne seuraavat linkkejä, hakevat sivuja ja jäsentävät HTML:ää. Mutta toisin kuin jotkin vanhemmat robotit, kaikki nykyaikaiset tekoälyalustat (ChatGPT:n robotti, Perplexityn robotti, Clauden robotti) vaativat toimivan HTTPS-yhteyden jo ennen kuin ne yrittävät lukea robots.txt-tiedostoa tai hakea yhtään sivua.
Näin tapahtuu, kun tekoälyrobotti vierailee sivustollasi. Ensin se yrittää muodostaa suojatun yhteyden verkkotunnukseesi TLS:llä. Palvelimesi vastaa lähettämällä SSL-varmenteen. Robotti tarkistaa, että varmenne on aito ja vastaa verkkotunnustasi. Vasta jos tarkistus onnistuu, robotti pyytää varsinaista sisältöäsi.
Jos SSL-varmenteesi on virheellinen tai vanhentunut, robotti pysähtyy toiseen vaiheeseen eikä hae sisältöäsi lainkaan. Robotin näkökulmasta sivustosi on tavoittamaton. Se ei yritä uudelleen huomenna. Se merkitsee verkkotunnuksesi saavuttamattomaksi ja jatkaa matkaansa.
Tämä poikkeaa perinteisestä SEO:sta, jossa Google yrittää epäonnistuneita pyyntöjä uudelleen ja indeksoi sisällön lopulta, vaikka yhteydessä olisi ollut tilapäisiä ongelmia. Tekoälyrobotit ovat ensimmäisessä yhteydenotossa tiukempia. Epäonnistunut SSL-kättely ensimmäisellä pyynnöllä tarkoittaa usein, ettei indeksointia tapahdu lainkaan.
Miten SSL-varmenneongelmat estävät tekoälyrobotit
Kaikki SSL-ongelmat eivät ole ilmeisiä. Varmenne voi olla teknisesti asennettu, mutta silti epäonnistua tietyn robotin tarkistuksessa. Yleisimmät esteet ovat:
Vanhentuneet varmenteet
Varmenne, jonka voimassaolo on päättynyt, on virheellinen. Robotit hylkäävät sen heti. Jotkin sivustot käyttävät hyvin lyhytikäisiä varmenteita (30-90 päivää) ja uusivat ne automaattisesti. Jos automaatio pettää, varmenne vanhenee kenenkään huomaamatta ja robotit menettävät pääsynsä välittömästi.
Itse allekirjoitetut varmenteet
Itse allekirjoitetun varmenteen on allekirjoittanut oma palvelimesi eikä luotettu varmenteiden myöntäjä. Selaimet ja robotit eivät luota itse allekirjoitettuihin varmenteisiin, koska kuka tahansa voisi tehdä sellaisen ja esiintyä kenenä tahansa. Itse allekirjoitetut varmenteet sopivat kehitykseen tai sisäisiin verkkoihin, mutta ne estävät kaiken julkisen robottipääsyn.
Verkkotunnus ei täsmää
Jos varmenne on myönnetty osoitteelle example.com, mutta sivustolle mennään osoitteella www.example.com (tai päinvastoin), varmenteen verkkotunnus ei vastaa pyydettyä verkkotunnusta. Robotit hylkäävät sen. Pienikin ero ratkaisee: sub.example.com-osoitteelle myönnetty SSL-varmenne ei kelpaa, jos robotti pyytää sisältöä osoitteesta content.example.com.
Varmenneketjun ongelmat
SSL-varmenne kuuluu ketjuun, joka johtaa juurivarmenteen myöntäjään asti. Jos palvelintasi ei ole asetettu lähettämään koko ketjua (sinulla on varsinainen varmenne, mutta ei välivarmenteita), robotit eivät ehkä pysty varmistamaan henkilöllisyyttäsi. Jotkin robotit ovat joustavia ja yrittävät etsiä puuttuvan välivarmenteen verkosta. Toiset katkaisevat yhteyden heti.
SNI-asetusten ongelmat
Server Name Indication (SNI) mahdollistaa sen, että yksi palvelin voi palvella useita HTTPS-sivustoja tunnistamalla, mitä sivustoa vierailija pyytää. Jos palvelintasi ei ole asetettu SNI:lle tai SNI-asetukset ovat väärin, verkkotunnustasi pyytävät robotit voivat saada toisen verkkotunnuksen varmenteen. Silloin tarkistus epäonnistuu.
Tietoturvaotsikot, jotka vaikuttavat tekoälyrobottien pääsyyn
Kun SSL-kättely onnistuu, palvelimesi voi lähettää tietoturvaotsikoita, jotka ohjaavat sitä, miten robotit käsittelevät sisältöäsi. Nämä otsikot eivät estä robotteja kokonaan, mutta ne vaikuttavat siihen, miten robotit käsittelevät sivujasi.
Strict-Transport-Security (HSTS)
HSTS käskee robotteja käyttämään aina HTTPS:ää, ei koskaan HTTP:tä. Se on hyvä tietoturvalle eikä estä robotteja. Mutta jos HSTS on asetettu väärin, esimerkiksi pitkällä voimassaoloajalla ja sitten vaihdat virheelliseen varmenteeseen, robotit joutuvat käyttämään HTTPS:ää mutta eivät onnistu kättelyssä. Varmista, että HSTS-käytäntösi ja voimassa olevat varmenteet kulkevat käsi kädessä koko määrittämäsi ajan.
X-Frame-Options ja X-Content-Type-Options
Nämä otsikot kertovat roboteille, miten sisältöäsi kohdellaan. Ne eivät estä robotteja hakemasta sitä. Mutta ne voivat vaikuttaa siihen, miten robotit jäsentävät sivuillasi olevaa tietoa ja poimivat sitä.
Content-Security-Policy
CSP-otsikot voivat rajoittaa, mihin resursseihin robotit pääsevät sivuiltasi käsin. Jos CSP on hyvin tiukka ja estää ulkoiset resurssit, robotit eivät ehkä pysty hakemaan sivuillasi mainittuja kuvia, tyylitiedostoja tai skriptejä. Tämä ei estä itse HTML:ää, mutta se rajoittaa signaaleja, jotka robotit voivat poimia.
Yleiset SSL-virheet ja mitä ne tarkoittavat tekoälyindeksoinnille
Kun tekoälyrobotti ei pysty vahvistamaan SSL-varmennettasi, se kirjaa virheen. Virheiden ymmärtäminen auttaa selvittämään, mikä on rikki. Tässä yleisimmät:
Varmenne on vanhentunut
SSL-varmenteesi voimassaolo on päättynyt. Robotit näkevät varmenteen päättymispäivän ja hylkäävät sen. Tämä on helpoin ongelma huomata ja korjata. Tarkista varmenteesi päättymispäivä ja uusi se ennen kuin se vanhenee.
Varmenne ei vastaa verkkotunnusta
Varmenteen verkkotunnus ei vastaa verkkotunnusta, jota robotti pyytää. Näin käy usein, kun siirryt uuteen verkkotunnukseen mutta unohdat päivittää SSL-varmenteen, tai kun lisäät aliverkkotunnuksen mutta varmenne kattaa vain päätunnuksen.
Varmenteen myöntäjää ei voi vahvistaa
Robotti ei pysty jäljittämään varmennettasi luotettuun juurivarmenteen myöntäjään. Näin käy, jos varmenteen on myöntänyt epäluotettava taho tai jos palvelimesi ei lähettänyt koko välivarmenteiden ketjua.
Varmenne on peruutettu
Varmenteen myöntäjä on peruuttanut varmenteen tietoturvaloukkauksen tai virheellisten asetusten vuoksi. Robotit tarkistavat peruutustilan ja kieltäytyvät pääsystä. Tämä on harvinaista, mutta vakavaa, kun se tapahtuu.
Miten tarkistat HTTPS-asetuksesi tekoälyroboteille
Paras tapa varmistaa, että tekoälyrobotit pääsevät sivustollesi, on testata se itse. Nämä tarkistukset ovat osa laajempaa teknistä GEO-auditointia. Näin tarkistat erityisesti HTTPS-ongelmat:
Käytä verkossa toimivia SSL-tarkistimia
Ilmaiset SSL-tarkistustyökalut analysoivat SSL-asetuksesi kokonaisuudessaan. Ne tarkistavat varmenteen voimassaolon, ketjun täydellisyyden, tuetut TLS-versiot ja tunnetut haavoittuvuudet. Aja verkkotunnuksesi tällaisen työkalun läpi ja korjaa kaikki raportoidut virheet.
Testaa curlilla tai wgetillä
Aja päätteessä curl -I https://yourdomain.com tai wget -q -O /dev/null https://yourdomain.com. Nämä työkalut jäljittelevät robotin toimintaa. Jos ne epäonnistuvat SSL-virheeseen, myös robotit epäonnistuvat. Virheilmoitus kertoo tarkasti, mikä on vialla.
Tarkista OpenSSL:llä
OpenSSL on SSL-diagnostiikan vakiotyökalu. Aja openssl s_client -connect yourdomain.com:443, niin näet tarkasti, minkä varmenteen palvelimesi esittää ja onko se kelvollinen.
Varmista varmenneketjun täydellisyys
Käytä komentorivityökaluja, joilla voit tarkistaa, lähettääkö palvelimesi koko varmenneketjun. Jos välivarmenteita puuttuu, lisää ne palvelimesi asetuksiin.
Testaa eri tekoälyalustoilla
Jotkin tekoälyrobotit ovat SSL-tarkistuksessa tiukempia kuin toiset. Testaa sivustosi pyytämällä ChatGPT:ltä, Perplexityltä, Claudelta ja Google Geminiltä vastausta, jossa käytetään sisältöäsi. Jos jokin alusta ei pääse sivustollesi, tarkista sen robotin ohjeista mahdolliset SSL-vaatimukset. Eri tekoälyalustojen robotit toimivat eri tavoin, ja niistä voit lukea lisää oppaistamme: ChatGPT-haun optimointi ja Perplexity-alustan optimointi.
Miten WEMASY hoitaa SSL:n ja tietoturvan tekoälyrobottien pääsyä varten
Jokaisessa WEMASYlla tehdyssä verkkosivustossa on automaattinen HTTPS ja luotetun myöntäjän antama voimassa oleva SSL-varmenne. Varmenteesi otetaan käyttöön ja uusitaan automaattisesti. Sinun ei tarvitse seurata päättymispäiviä tai uusimisjaksoja.
WEMASY myös asettaa varmenteesi kattamaan sekä päätunnuksesi että www-aliverkkotunnuksen, joten verkkotunnuksen ja varmenteen ristiriidat jäävät pois. Koko varmenneketju lähetetään automaattisesti, jotta robotit voivat vahvistaa henkilöllisyytesi ilman virheitä.
HSTS-otsikkosi on asetettu kohtuulliselle voimassaoloajalle, jolloin tietoturva säilyy eikä synny ongelmaa, jos varmennetta täytyy vaihtaa. Lue lisää jokaiseen WEMASY-pakettiin kuuluvista tietoturva- ja suorituskykyominaisuuksista.
Usein kysytyt kysymykset
Tukevatko tekoälyrobotit sekä HTTPS:ää että HTTP:tä?
Ei. Kaikki suuret tekoälyrobotit (GPTBot, ClaudeBot, PerplexityBot) vaativat pelkän HTTPS:n. Ne eivät tue HTTP:tä. HTTP:llä toimivalle sivustolle tekoälyrobotit eivät pääse lainkaan. Jos sinulla on vanhempi sivusto, joka toimii yhä HTTP:llä, siirry HTTPS:ään heti. HTTPS on pakollinen tekoälyrobottien pääsylle. WEMASYn Sivustonrakentajalla voit ottaa sen käyttöön suoraan omalla verkkosivustollasi.
Toimiiko jokerimerkkivarmenne kaikille aliverkkotunnuksille?
Kyllä. Jokerimerkkivarmenne (*.example.com) kattaa kaikki päätunnuksesi aliverkkotunnukset. Jos sinulla on aliverkkotunnuksia, kuten api.example.com tai blog.example.com, yksi jokerimerkkivarmenne kattaa ne kaikki. Jokerimerkkivarmenne ei kuitenkaan kata itse päätunnusta (example.com), ellei sitä ole erikseen sisällytetty. Varmista, että jokerimerkkivarmenteesi kattaa sekä jokerimerkin että päätunnuksen.
Seuraavatko tekoälyrobotit SSL-uudelleenohjauksia HTTP:stä HTTPS:ään?
Useimmat seuraavat. Jos palvelimesi ohjaa HTTP-pyynnöt HTTPS:ään (yleinen asetus), tekoälyrobotit seuraavat uudelleenohjauksen ja jatkavat HTTPS-yhteydellä. Tämä lisää kuitenkin yhden vaiheen ja kuluttaa robotin resursseja. Paras käytäntö on poistaa HTTP kokonaan käytöstä ja ottaa vastaan vain HTTPS-yhteyksiä. Silloin uudelleenohjauksesta ei aiheudu lisätyötä eikä yksikään robotti päädy sivustosi salaamattomaan versioon.
Kuinka usein SSL-varmenne pitää uusia?
Nykyaikaiset SSL-varmenteet kestävät yleensä vuoden. Useimmat web-hotellit ja alustat (myös WEMASY) hoitavat uusimisen automaattisesti. Sinun ei tarvitse uusia varmennetta käsin, ellei käytössäsi ole hyvin vanha hosting-ratkaisu. Voit varmuuden vuoksi asettaa kalenterimuistutuksen 30 päivää ennen päättymistä, mutta automaattisen uusimisen pitäisi estää vanhenemisongelmat kokonaan.
Heikentääkö huono SSL-varmenne SEO-sijoituksiani?
Kyllä. Google edellyttää HTTPS:ää ja pitää sivustoja, joilla ei ole voimassa olevaa HTTPS:ää, heikompilaatuisina. Vanhentunutta tai virheellistä SSL-varmennetta kohdellaan kuin HTTP-sivustoa, ja se rankaistaan sijoituksissa. Tekoälynäkyvyyden kannalta rangaistus on vielä ankarampi, koska tekoälyrobotit eivät pääse vanhentuneen varmenteen sivuille lainkaan. Ne eivät indeksoi sisältöäsi, vaikka se olisi kuinka hyvin optimoitu.
Voinko käyttää itse allekirjoitettua varmennetta tuotannossa olevalla verkkosivustolla?
Ei. Kaikki suuret robotit ja selaimet hylkäävät itse allekirjoitetut varmenteet. Ne sopivat vain kehitykseen, testaukseen tai sisäisiin verkkoihin, joissa hallitset kaikkia palvelimeen yhdistäviä laitteita. Käytä jokaisella julkisella verkkosivustolla luotetun varmenteiden myöntäjän (CA) antamaa varmennetta. Useimmat myöntäjät tarjoavat perustarpeisiin hyvin edullisia tai ilmaisia varmenteita.