Hakukoneiden botit käyvät sivustollasi jatkuvasti. Ne käyvät sivuja läpi, seuraavat linkkejä ja tarkistavat päivitykset. Tätä toimintaa et kuitenkaan näe Google Search Consolessa. Näet sen vain palvelinlokeistasi. Palvelinlokit tallentavat jokaisen palvelimellesi tulevan pyynnön: mikä botti sen teki, minkä sivun se kävi läpi, kuinka kauan se kesti ja minkä vastauskoodin se sai. Lokianalyysi paljastaa, miten hakukoneet oikeasti kohtelevat sivustoasi.
Mitä palvelinlokit ovat?
Palvelinlokit ovat tallenteita jokaisesta web-palvelimellesi tulleesta pyynnöstä. Jokainen rivi vastaa yhtä pyyntöä. Lokista näkyy kävijän IP-osoite, mitä hän pyysi, milloin hän pyysi sitä, minkä vastauskoodin palvelin palautti ja kuinka paljon dataa lähetettiin.
Jokainen web-hotellin tarjoaja tallentaa palvelinlokeja. Pääset niihin web-hotellisi hallintapaneelista tai FTP:n kautta. Yleisiä lokimuotoja ovat palvelinohjelmistojen käyttölokit. Useimmat web-hotellin tarjoajat antavat ladata lokit analysoitavaksi.
Lokitiedostot voivat olla valtavia. Vilkkaasti liikennöity sivusto tuottaa gigatavuja lokeja päivässä. Niiden analysointi vaatii työkaluja. Miljoonia lokimerkintöjä ei voi lukea käsin.
Hakukoneen robotin user-agentin ymmärtäminen
Jokainen botti tunnistautuu user-agent-merkkijonolla. Googlebot on Googlen robotti. Bingbot on Bingin robotti. Slurp on Yahoon robotti. Muilla hakukoneilla on omat bottinsa.
Voit suodattaa lokit user-agentin mukaan nähdäksesi vain tietyiltä roboteilta tulleet pyynnöt. Näin näet, kuinka usein kukin hakukone käy sivustollasi.
Varo väärennettyjä user-agenteja. Huijarit esiintyvät hakukoneina. Merkkijono, jossa lukee "Googlebot", ei välttämättä ole oikea Googlebot. Tarkista IP-osoite. Googlen oikeat Googlebotin IP-osoitteet on julkaistu.
Mitä lokeista voi oppia
Läpikäyntitiheys: Kuinka usein kukin hakukone käy sivustollasi? Päivittäin? Viikoittain? Useita kertoja päivässä? Läpikäyntitiheys kertoo, kuinka paljon Google arvostaa sivustoasi.
Läpikäyntimallit: Mitä sivuja robotti käy läpi? Käykö se tärkeitä sivuja useammin? Tuhlaako se aikaa merkityksettömiin sivuihin? Tämä paljastaa crawl budgetin jakautumisen.
Vastauskoodit: Palauttavatko sivut 200 (onnistui) vai virheitä? Monet 4xx- tai 5xx-virheet kertovat ongelmista.
Läpikäyntinopeus: Kuinka paljon aikaa botti käyttää läpikäyntiin? Nopeat läpikäynnit kertovat, että sivut latautuvat nopeasti. Hitaat läpikäynnit kertovat suorituskykyongelmista.
Bottien käyttäytyminen: Noudattavatko botit robots.txt:tä? Kunnioittavatko ne nofollow-merkintää? Käyvätkö ne läpi kuvia ja CSS:ää? Tämä paljastaa, onko tekninen asetuksesi oikein.
Näin analysoit lokeja
Lataa lokisi. Mene web-hotellisi hallintapaneeliin, etsi lokiosio ja lataa käyttölokit ajanjaksolta, jota haluat analysoida.
Käytä lokianalyysityökaluja. Lokitiedostojen analysaattorit jäsentävät lokit ja nostavat esiin oivalluksia. Nämä työkalut suodattavat user-agentin, IP-osoitteen, vastauskoodin ja muiden tietojen mukaan.
Suodata robotit. Keskity hakukoneiden bottien pyyntöihin. Suodata pois tavallisten käyttäjien liikenne. Näin eristät robottien käyttäytymisen.
Analysoi malleja. Katso läpikäyntitiheyden trendejä. Lisääntyvätkö vai vähenevätkö läpikäynnit? Nousevatko virheprosentit? Vastaavatko läpikäyntimallit odotuksiasi?
Yleisiä lokianalyysin löydöksiä
Merkityksettömiä sivuja käydään läpi enemmän kuin tärkeitä. Se kertoo sivustorakenteen ongelmasta. Tärkeitä sivuja pitäisi käydä läpi useammin. Käytä robots.txt:tä tai sisäistä linkitystä tärkeiden sivujen priorisointiin.
Korkea virheprosentti. Monet 4xx- tai 5xx-vastaukset kertovat rikkinäisistä sivuista tai palvelinongelmista. Korjaa virheet parantaaksesi crawlattavuutta.
Alhainen läpikäyntitiheys. Jos hakukoneet käyvät sivustollasi harvoin, syynä voi olla heikko arvovalta tai huono sisällön laatu. Paranna sisältöä ja linkkejä, jotta saat enemmän läpikäyntejä.
Botit käyvät läpi estettyjä sivuja. Jos robots.txt estää sivuja mutta robotit silti pyytävät niitä, botit ohittavat estosääntösi. Yleensä tämä on harmitonta.
Lokianalyysin rajoitukset
Lokianalyysi näyttää palvelimellesi tulleet pyynnöt, mutta ei kaikkea robottien toimintaa. Jotkin hakukoneet käyttävät välimuistia. Ne eivät välttämättä käy jokaista osoitetta läpi joka kerta. Välimuistista tehdyt läpikäynnit eivät näy lokeissa.
Lokianalyysi ei näytä indeksointipäätöksiä. Se, että sivu käytiin läpi, ei tarkoita, että se indeksoitiin. Hakukoneet käyvät sivuja läpi ja hylkäävät niitä jatkuvasti.
Isoja lokitiedostoja on vaikea hallita. Vilkkaasti liikennöity sivusto tuottaa valtavia lokeja. Gigatavujen datan analysointi vaatii tehokkaita työkaluja ja asiantuntemusta.
Lokidata on teknistä. Sen ymmärtäminen vaatii tietoa HTTP-vastauksista, user-agent-merkkijonoista ja palvelimen toiminnasta. Se ei ole aloittelijaystävällistä.
Usein kysytyt kysymykset
Mistä löydän palvelinlokini?
Palvelinlokit ovat web-hotellisi tarjoajalla. Kirjaudu web-hotellisi hallintapaneeliin ja etsi osio nimeltä Lokit tai Tilastot. Useimmat tarjoajat antavat ladata raakalokit. Jotkut tarjoavat lokien katseluohjelman. Jos et löydä niitä, ota yhteyttä web-hotellin tarjoajaan. WEMASYn sivustonrakentajalla voit tehdä tämän suoraan omalla verkkosivustollasi.
Kuinka pitkälle taaksepäin palvelinlokit ulottuvat?
Se vaihtelee palveluntarjoajan mukaan. Jotkin säilyttävät lokeja 30 päivää, toiset 90 päivää. Yritystason palveluissa lokeja voidaan säilyttää vuosia. Tarkista web-hotellisi ohjeet. Jos tarvitset vanhoja lokeja, lataa ja arkistoi ne säännöllisesti.
Pitäisikö analysoida lokit itse vai palkata joku?
Useimmille sivustoille Google Search Console riittää. Lokianalyysi on edistynyttä ja teknistä. Käytä lokeja vain, jos GSC ei anna tarvitsemiasi vastauksia. Jos teet lokianalyysia, käytä siihen tarkoitettua lokitiedostojen analysaattoria. Jos osaaminen puuttuu, palkkaa SEO-konsultti.
Voinko tunnistaa lokeista huonot botit?
Kyllä. Lokit näyttävät kaikki pyynnöt, myös huonot botit. Etsi epätavallisia user-agent-merkkijonoja, korkeita pyyntömääriä tai läpikäyntimalleja, joissa ei ole järkeä. Huonot botit käyvät sivustoasi usein läpi paljon nopeammin kuin oikeat robotit. Voit estää ne robots.txt:llä tai palomuurilla.
Auttaako lokien analysointi parantamaan sijoituksiani?
Epäsuorasti. Lokianalyysi auttaa ymmärtämään läpikäyntiongelmia, sivustorakenteen ongelmia ja suorituskyvyn pullonkauloja. Näiden korjaaminen parantaa sivustoa sekä roboteille että käyttäjille, mikä voi parantaa sijoituksia. Lokit ovat kuitenkin diagnostiikkatyökalu, eivät itse sijoitustekijä.
Mitä eroa on lokeilla ja Search Consolen datalla?
Lokit näyttävät jokaisen palvelimellesi tulleen pyynnön. Search Console näyttää, mitä Google teki näille pyynnöille (indeksoitu, hylätty jne.). Lokit ovat raakadataa. Search Console on Googlen tulkinta datasta. Käytä molempia yhdessä saadaksesi kokonaiskuvan.