Miksi arvaaminen epäonnistuu ja testaaminen voittaa
Siksi arvaaminen epäonnistuu. Ilman testausta et pysty erottamaan signaalia kohinasta. Et voi tietää, siirsikö muutos oikeasti mittarin lukemaa vai näetkö vain tavallista vaihtelua. Hukkaat kuukausia muutoksiin, jotka eivät toimi. Ja menetät muutoksia, jotka toimivat, koska peruit ne luullen, ettei niistä ollut hyötyä.
A/B-testaus ratkaisee tämän poistamalla epäselvyyden. Testaat yhtä muutosta puolella liikenteestäsi. Toinen puoli pysyy ennallaan. Mittaat eron tarkasti. Tilastotiede kertoo, onko ero todellinen vai sattumaa. Lopetat arvaamisen. Alat tietää.
Mitä A/B-testaus oikeasti on
Versio A vastaan versio B
A/B-testauksessa verrataan kahta versiota jostakin näyttämällä ne eri ihmisille ja mittaamalla, kumpi toimii paremmin. Versio A on nykyinen ratkaisusi. Versio B on muutoksesi. Näytät A:ta puolelle kävijöistä. B:tä näytetään toiselle puolelle. Kaikki muu on identtistä. Ainoa ero on se yksi asia, jonka muutit.
Mittaa ja vertaa
Kun tarpeeksi kävijöitä on nähnyt molemmat versiot, analysoit tulokset. Konvertoiko versio B paremmin kuin versio A. Kuinka paljon paremmin. Onko ero todellinen vai pelkkää satunnaista vaihtelua. Tilastotiede vastaa näihin kysymyksiin tarkasti.
Todellinen voima: tarkkuus
Tämä tarkkuus on todellinen voima. Ei itse testaus. Tarkkuus. Tiedät täsmälleen, mikä toimii juuri sinun yleisöllesi, juuri sinun verkkosivustollasi, juuri nyt. Muiden sivustojen yleiset neuvot eivät päde sinuun. Sinun datasi pätee.
Arvaamisen piilokustannus
Yksi huono muutos maksaa kuukausien liikevaihdon
Oletetaan, että teet 100 dollarin voiton asiakasta kohden. Verkkosivustollasi on 10 000 kävijää kuukaudessa. Kaksi prosenttia konvertoi, eli 200 asiakasta kuukaudessa. Voittoa kertyy 20 000 dollaria kuukaudessa.
Arvelet, että jokin muutos voisi auttaa. Teet muutoksen testaamatta. Jos muutos todellisuudessa heikentää konversiota yhdellä prosentilla, asiakkaita tulee enää 100. Voitto putoaa 10 000 dollariin. Olet menettänyt sinä kuukautena 10 000 dollaria.
Hiljaiset tappiot kasautuvat
Et ehkä huomaa mitään. Saatat ajatella, että liikevaihto on tässä kuussa alhaalla muista syistä. Jätät huonon muutoksen paikalleen. Seuraavana kuussa sama tarina. 10 000 dollarin tappio. Vuodessa olet menettänyt 120 000 dollaria, koska et testannut.
Tämä on arvaamisen piilokustannus. Ei satunnainen huono päätös. Jatkuva pieni vahinko muutoksista, jotka haittaavat vähän tai auttavat vähän, mutta et koskaan tiedä, kumpaa.
Testaus estää hiljaiset tappiot
Testaus estää tämän. Yksi huono muutos jää kiinni. Näet, että se on huonompi. Perut sen. Yksi tappio kahdentoista sijaan.
Mikä erottaa voittajat muista
Suuret yritykset testaavat jatkuvasti
Suuret yritykset testaavat jatkuvasti. Suurimmat verkkokaupat ajavat tuhansia testejä vuodessa. Suoratoistopalvelut testaavat. Matkailualustat testaavat. He testaavat, koska testaus kasautuu. Yhden prosentin parannus kuukaudessa kasvaa 12 prosentin vuosiparannukseksi. Viiden prosentin parannus kuukaudessa kasvaa 80 prosentin vuosiparannukseksi.
Pienet yritykset testaavat harvoin
Pienet ja keskisuuret yritykset testaavat harvoin. He ajattelevat, että testaus on teknologiayrityksille, joilla on kehitystiimit. He arvaavat. He menettävät rahaa hitaasti tietämättä miksi.
Testaus on etu
Voittavat yritykset ovat niitä, jotka testaavat enemmän kuin kilpailijansa. Eivät fiksumpia. Eivät parempia. Enemmän testausta. Siinä kaikki. Testaus on tapa, ei taito. Kuka tahansa voi tehdä sitä.
Testaus vai muuttaminen
Muuttaminen on arvaamista
Muuttaminen on arvaamista. Muutat jotain. Katsot, nouseeko liikevaihto. Jos nousee, pidät muutoksen. Jos ei, palautat sen. Tähän menee kuukausia. Et tiedä, aiheuttiko muutos tuloksen. Saatat perua voittavan muutoksen, koska ajoitus oli huono.
Testaus on tietämistä
Testaus on tietämistä. Muutat jotain järjestelmällisesti. Mittaat ennen ja jälkeen tarkasti. Tilastotiede kertoo, oliko muutoksella merkitystä. Tiedät heti. Voit ajaa kymmeniä testejä siinä ajassa, joka kuluu yhteen arvaukseen.
Useimmat yritykset muuttavat testaamatta. Harvat testaavat. Testaajat voittavat arvaajat.
Harhakäsitykset, jotka tappavat testausohjelmat
Testaus kestää liian kauan
Väärin. Useimmat testit valmistuvat yhdessä tai kahdessa viikossa. Jos testisi kestää kolme kuukautta, liikennettä ei ole tarpeeksi. Mutta se on liikenneongelma, ei testausongelma.
Testaus on kallista
Väärin. Testaus on ilmaista tai halpaa. Jotkin työkalut ovat ilmaisia. Maksulliset alustat alkavat noin 500 dollarista kuukaudessa. Se ei ole mitään liikevaihtovaikutukseen verrattuna. Yksi testi, joka parantaa konversiota yhdellä prosentilla, maksaa työkalut takaisin koko vuodeksi.
Vain suuret verkkosivustot voivat testata
Väärin. Testaus toimii kaikilla verkkosivustoilla, joilla on vähintään 500 kävijää kuukaudessa. Useimmilla sivustoilla on enemmän. Pienyritysten verkkosivustot hyötyvät testauksesta eniten, koska pienet parannukset ovat suuria prosentuaalisia voittoja.
Täydellinen toteutus on pakollinen
Väärin. Hyvä toteutus voittaa täydellisen suunnittelun. Aloita testaus tänään yksinkertaisella toteutuksella. Paranna prosessia oppiessasi.
Sitoutuminen, jolla on merkitystä
Testaus tuottaa arvoa vain, jos otat voittajat käyttöön
Kysymys ei ole, miten testaan, vaan mitä teen voittaneilla testeillä. Jotkin yritykset testaavat mutta eivät koskaan ota voittajia käyttöön. He ajavat testin. Muutos voittaa. He sanovat, että otamme sen käyttöön myöhemmin. Myöhemmin ei koskaan tule.
Voittaneet testit tuottavat arvoa vain, jos otat ne käyttöön. Ja voittaneet testit inspiroivat jatkotestejä. Jos painikkeen värin vaihtaminen nostaa konversiota kahdella prosentilla, entä painikkeen koko. Painikkeen sijainti. Painikkeen teksti. Yksi testi johtaa toiseen. Testaus ei ole kertaluonteista. Se on jatkuvaa.
Kasautuva hyöty sitoutumisen kautta
Testauksesta eniten hyötyvät yritykset sitoutuvat ottamaan voittajat käyttöön ja ajamaan jatkotestejä. He rakentavat testauksen osaksi kulttuuria. Kuukausi toisensa jälkeen. Vuosi toisensa jälkeen. Pienet parannukset kasvavat valtavaksi kasvuksi.
Usein kysytyt kysymykset
Mistä tiedän, onko yritykseni tarpeeksi suuri A/B-testaukseen?
Jos saat 500 kävijää kuukaudessa, voit testata. Useimmilla yrityssivustoilla kävijöitä on enemmän. Jos kävijöitä on alle 500, keskity ensin liikenteeseen. Kun 500 ylittyy, aloita testaus. WEMASY-sivustonrakentajalla voit ottaa tämän käyttöön suoraan omalla verkkosivustollasi.
Jos myyn kalliita tuotteita ja asiakkaita on vähän, voinko silti testata?
Vaikeampaa, mutta mahdollista. Aika skaalautuu eri tavalla. Jos asiakkaita tulee yksi kuukaudessa, testi kestää kuukausia. Periaate on silti sama. Testaa muutoksia, joilla on suuri vaikutus. Vältä pieniä muutoksia, joilla ei ole merkitystä sinun volyymillasi.
Mitä eroa on voittavalla testillä ja testillä, jossa voittaja pettää?
Otat voittajan käyttöön. Se toimii yhden kuukauden. Toisena kuukautena se ei toimi yhtä hyvin. Näin käy. Jokin muuttui. Yleisö siirtyi. Kausivaikutus. Aja testi uudelleen. Voittaja saattaa vaihtua. Kirjaa tämä oppi ylös.
Pitäisikö testata palaavia vai uusia asiakkaita vai molempia?
Testaa kaikkia. He käyttäytyvät eri tavalla, mutta molemmilla on merkitystä liiketoiminnalle. Uudet asiakkaat ovat ensivaikutelma. Palaavat asiakkaat ovat uskollisuutta. Testaa kaikkia. Jos haluat tarkempaa tietoa, analysoi ryhmät erikseen jälkikäteen.
Ajan testiä ja häviän pahasti. Pitäisikö lopettaa aikaisin?
Ei. Aja koko kesto. Varhaiset tulokset johtavat harhaan. Kuvittele, ettet ole testin ajaja. Kuvittele, ettei sinulla ole panosta pelissä. Haluaisitko tietää alustavat tulokset viikon jälkeen. Todennäköisesti et. Odota oikeaa dataa.
Miten saan tiimini testaamaan arvaamisen sijaan?
Näytä raha. Aja testi. Muutos voittaa. Laske liikevaihtovaikutus. Tämä testi nosti liikevaihtoa 5 000 dollaria kuukaudessa. Jos keskimääräinen testi parantaa tulosta kolme prosenttia, voimme kasvattaa tulosta valtavasti. Raha vakuuttaa.