Hakukoneet yrittävät käydä sivustosi läpi ja jokin menee pieleen. Sivu palauttaa 500-virheen. Sivu aikakatkaistaan. Sivu ei ole tavoitettavissa. Nämä ovat crawl-virheitä eli läpikäyntivirheitä. Ne kertovat Googlelle, että sivustollasi on ongelmia. Monet crawl-virheet heikentävät sijoituksia ja estävät sivujen indeksoinnin. Mitä enemmän crawl-virheitä on, sitä harvempia sivuja Google käy läpi. Crawl-virheet pitää löytää ja korjata nopeasti.
Mitä crawl-virheet ovat?
Crawl-virhe syntyy, kun Google yrittää käydä sivun läpi ja kohtaa ongelman. Sivu voi palauttaa 5xx-palvelinvirheen. Se voi aikakatkaistua eikä vastata. Robots.txt voi estää sen tai se voi ohjautua loputtomasti. Mikä tahansa ongelma, joka estää Googlea käymästä sivua onnistuneesti läpi, on crawl-virhe.
Crawl-virheet eroavat indeksointiongelmista. Sivu voidaan käydä läpi onnistuneesti, mutta sitä ei indeksoida (noindexin tai muun syyn takia). Se ei ole crawl-virhe. Crawl-virhe on se, kun läpikäynti itse epäonnistuu.
Crawl-virheiden tyypit
500 Internal Server Error tarkoittaa, että palvelimellasi on jotain rikki. Skripti kaatui. Tietokantakysely epäonnistui. Palvelin ei voi käsitellä pyyntöä. Korjaa taustalla oleva ongelma palvelimellasi.
503 Service Unavailable tarkoittaa, että palvelin on tilapäisesti poissa käytöstä. Se on normaalia huollon aikana. Korjaa se, mikä aiheutti tilapäisen katkon.
Aikakatkaisu tarkoittaa, että sivu vastasi liian hitaasti. Google lopetti odottamisen. Yleensä tämä tarkoittaa, että palvelimesi on hidas tai ylikuormitettu. Optimoi palvelimesi tai vaihda tehokkaampaan web-hotelliin.
Uudelleenohjausvirhe tarkoittaa, että sivu ohjautuu väärin. Ehkä se ohjaa itseensä (loputon silmukka). Ehkä se ohjaa rikkinäiselle sivulle. Korjaa uudelleenohjausketju.
Ei löytynyt (404) ei teknisesti ole crawl-virhe. Sivu palauttaa 404:n oikein. Mutta jos kyseessä on tärkeä sivu, jonka pitäisi olla olemassa, selvitä, miksi se palauttaa 404:n.
Robots.txt:n estämä tarkoittaa, että robots.txt estää läpikäynnin. Se voi olla tarkoituksellista (estit sivun tahallasi) tai vahinko (estit liikaa). Tarkista robots.txt.
Miksi crawl-virheillä on väliä
Crawl-virheet kertovat hakukoneille, että sivustollasi on ongelmia. Jos hakukoneet kohtaavat paljon crawl-virheitä, ne olettavat sivuston olevan rikki ja vähentävät läpikäyntien määrää. Silloin vähemmän sivuja käydään läpi ja indeksoidaan.
Sivuja, joita ei voi käydä läpi, ei voi indeksoida. Jos tärkeä sivu palauttaa 500-virheitä, hakukoneet lakkaavat yrittämästä ja poistavat sen indeksistä.
Crawl-virheet luovat kielteisen signaalin. Hakukoneet käyttävät sivuston terveyttä sijoitustekijänä. Sivusto, jolla on paljon crawl-virheitä, näyttää rikkinäiseltä ja epäluotettavalta. Sijoituksesi kärsivät.
Näin löydät crawl-virheet
Käytä hakukoneesi ylläpitäjän työkaluja (Googlella Google Search Console). Coverage-raportti näyttää crawl-virheet. Se listaa osoitteet, joita Google yritti käydä läpi mutta ei onnistunut. Raportti näyttää virheen tyypin ja kunkin virheen sivumäärän.
Käytä Crawl Stats -raporttia. Se näyttää, kuinka monta sivua Google kävi läpi minäkin päivänä. Jos läpikäyntien määrä putoaa äkillisesti, sinulla on todennäköisesti crawl-virheitä.
Käytä URL Inspection -työkalua. Syötä tietty osoite, niin työkalu näyttää, onnistuiko läpikäynti, milloin se tehtiin ja mitä virheitä ilmeni (jos yhtään).
Tarkista palvelimen lokit. Web-hotellisi tarjoajalla on käyttölokit, joissa näkyy jokainen pyyntö ja vastaus. Etsi 5xx-virheitä tai aikakatkaisuja.
Yleisimmät crawl-virheiden syyt ja korjaukset
Palvelimesi on ylikuormitettu. Liian monta pyyntöä aiheuttaa aikakatkaisuja ja 503-virheitä. Päivitä web-hotellisi tai optimoi koodisi kestämään enemmän liikennettä.
Sivustosi skripti on rikki. PHP-virhe tai tietokantavirhe aiheuttaa 500-virheitä. Tarkista virhelokit ja korjaa rikkinäinen koodi.
Robots.txt on liian rajoittava. Estit vahingossa tärkeitä sivuja. Tarkista robots.txt ja poista liian laajat disallow-säännöt.
Uudelleenohjausketjut ovat rikki. Sivu A ohjaa sivulle B, joka ohjaa sivulle C, joka on rikki. Korjaa ketju osoittamaan suoraan lopulliseen kohteeseen.
Sivulla on noindex-tunniste. Google käy sen läpi mutta ei indeksoi sitä noindexin takia. Jos se on tarkoituksellista, jätä se huomiotta. Jos kyseessä on vahinko, poista noindex-tunniste.
Crawl-virheiden korjaaminen
Tunnista virheen tyyppi. Eri virheet vaativat eri korjauksia. 500-virheet vaativat palvelinkorjauksia. Aikakatkaisut vaativat suorituskyvyn optimointia. Uudelleenohjausvirheet vaativat uudelleenohjausten korjaamista.
Korjaa taustalla oleva ongelma. 500-virheissä korjaa rikkinäinen koodi tai skripti. Aikakatkaisuissa optimoi suorituskyky. Uudelleenohjauksissa korjaa ketju.
Varmista korjaus. Hae sivu uudelleen URL Inspection -työkalulla. Google käy sen uudelleen läpi ja kertoo, onko virhe korjattu.
Seuraa crawl-tilastoja. Kun olet korjannut virheet, seuraa läpikäyntien määrää ylläpitäjän työkaluissa. Määrän pitäisi kasvaa, kun hakukoneet käyvät läpi enemmän sivuja onnistuneesti.
Usein kysytyt kysymykset
Kuinka monta crawl-virhettä voin sietää?
Tavoite on nolla. Joitakin crawl-virheitä ei kuitenkaan voi välttää. Muutama crawl-virhe merkityksettömillä sivuilla ei ole iso asia. Sadat crawl-virheet kertovat vakavista ongelmista. Jos crawl-virheitä on yli 50, selvitä ja korjaa ne. WEMASYn sivustonrakentajalla voit tehdä tämän suoraan omalla verkkosivustollasi.
Haittaavatko crawl-virheet suoraan sijoituksia?
Eivät suoraan, mutta ne estävät sivujen indeksoinnin ja heikentävät sivuston terveyden signaaleja. Sivu, jolla on crawl-virhe, ei voi sijoittua (sitä ei ole indeksoitu). Monet crawl-virheet kertovat Googlelle, että sivustosi on rikki, mikä epäsuorasti heikentää kaikkia sijoituksiasi.
Pitäisikö kaikki crawl-virheet korjata heti?
Priorisoi. Korjaa ensin tärkeiden sivujen crawl-virheet (etusivu, tärkeimmät laskeutumissivut, tuottavimmat sivut). Vähemmän tärkeät sivut (arkistoitu sisältö, apusivut) voivat odottaa. Korjaa ensin eniten vahinkoa tekevät virheet.
Voivatko vanhan sisällön crawl-virheet haitata sivustoani?
Jonkin verran. Jos sinulla on tuhansia arkistoituja sivuja, jotka palauttavat 404- tai 500-virheitä, syntyy kohinaa ja crawl budget jakautuu rikkinäisille sivuille. Vanha sisältö kannattaa poistaa tai ohjata asiaankuuluvaan uuteen sisältöön sen sijaan, että jättäisit sen rikki.
Kuinka kauan hakukoneilta kestää käydä sivu uudelleen läpi virheen korjaamisen jälkeen?
Yleensä muutaman päivän. Kun olet korjannut crawl-virheen, hakukoneet käyvät sivun uudelleen läpi seuraavalla kierroksellaan. Voit pyytää uutta läpikäyntiä URL Inspection -työkalulla. Se nopeuttaa prosessia. Uuden läpikäynnin jälkeen ylläpitäjän työkalut päivittävät Coverage-raportin.
Mitä eroa on crawl-virheillä ja indeksointivirheillä?
Crawl-virheet syntyvät, kun Google ei voi käydä sivua läpi (500-virheet, aikakatkaisut). Indeksointivirheet syntyvät, kun sivu käydään läpi onnistuneesti mutta sitä ei voi indeksoida (sisältöongelmat, noindex-tunniste). Crawl-virheet estävät indeksoinnin kokonaan. Indeksointivirheet tarkoittavat, että sivu käytiin läpi mutta sitä ei indeksoitu muusta syystä.