Vaihe yksi: kirjoita hypoteesi tarkasti
Epämääräinen hypoteesi epäonnistuu
Ei näin: kassan muuttaminen parantaa konversiota.
Tarkka hypoteesi voittaa
Parempi: uskomme, että kassan yksinkertaistaminen viisivaiheisesta prosessista yhden sivun lomakkeeksi lisää ostojen loppuun saattamista vähintään kolme prosenttia, koska asiakkaat luovuttavat, kun lomake tuntuu pitkältä.
Hypoteesin pitäisi kertoa. Mitä muutat. Miksi uskot sen auttavan. Minkä mittarin odotat paranevan. Kuinka paljon.
Epämääräinen hypoteesi johtaa epämääräisiin tuloksiin. Tarkka hypoteesi on testattavissa.
Vaihe kaksi: määritä otoskoko ennen aloitusta
Laskennalla on väliä
Kuinka monta kävijää tarvitset nähdäksesi todellisen eron.
Kaava. Tarvitset vähintään viisisataa konversiota versiota kohti. Eli tuhat yhteensä, jos testaat kahta versiota.
Laske testin kesto
Jos konvertoit kahden prosentin tasolla ja saat kaksituhatta kävijää kuukaudessa, saat neljäkymmentä konversiota kuukaudessa. Viiden sadan konversion saavuttaminen kestää kaksitoista kuukautta. Testi ei valmistu ajoissa.
Jos konvertoit kymmenen prosentin tasolla ja saat viisituhatta kävijää kuukaudessa, saat viisisataa konversiota kuukaudessa. Tuhannen saavuttaminen kestää kaksi kuukautta. Testi valmistuu nopeasti.
Tiedä aikataulu etukäteen
Sivustot, joilla on matala konversioprosentti, tarvitsevat pidempiä testejä. Sivustot, joilla konversio on korkea, valmistuvat nopeammin.
Käytä otoskokolaskuria. Syötä konversioprosenttisi ja liikenteesi. Laskuri kertoo, kuinka kauan testi kestää.
Jos testi kestää yli kolme kuukautta, mieti. Onko muutos kolmen kuukauden odotuksen arvoinen. Vai pitäisikö testata jotain muuta, mikä valmistuu nopeammin.
Vaihe kolme: valitse testiliikenteen jako
Viisikymmentä viisikymmentä on vakio
Ohjaa viisikymmentä prosenttia kontrolliversiolle. Viisikymmentä prosenttia muutosversiolle.
Varovainen jako hidastaa tuloksia
Jotkut jakavat yhdeksänkymmentä kymmenen. Yhdeksänkymmentä prosenttia nykyiselle hyvälle versiolle, kymmenen prosenttia uudelle versiolle, josta he ovat epävarmoja. Tämä on varovaista, mutta hidastaa testiä.
Viisikymmentä viisikymmentä on vakio. Nopeimmat tulokset.
Vaihe neljä: määritä testin kesto ennen ajoa
Sitoudu aikatauluun
Vähintään yksi viikko. Kaksi viikkoa on vakio. Yksi kuukausi erittäin vilkkaille sivustoille.
Älä päätä kestoa testin aikana. Päätä etukäteen. Kirjoita se ylös. Sitoudu siihen.
Etukäteen kurkistelu pilaa testit
Etukäteen kurkistelu pilaa testit. Tarkistat tulokset viikon jälkeen. Näyttää siltä, että muutosversio voittaa. Lopetat testin. Otat muutoksen käyttöön. Myöhemmin huomaat, ettei tulos ollutkaan todellinen. Otit käyttöön jotain, mikä ei oikeasti toiminut.
Aja koko kesto.
Vaihe viisi: tee muutosversion muutos
Vain yksi muutos
Vain yksi muutos. Ei useita muutoksia.
Jos testaat kassan yksinkertaistamista, yksinkertaista lomaketta. Älä muuta väriä, tekstiä tai asettelua samaan aikaan. Yksi muuttuja kerrallaan.
Tee siitä selvä
Muutoksen pitäisi olla selvä. Kävijöiden pitäisi huomata ero. Jos muutos on niin hienovarainen, etteivät kävijät huomaa sitä, testi ei toimi.
Vaihe kuusi: aseta testi työkaluun
Valitse alustasi
Käytä testausalustaa. . . .
Asenna ja määritä
Yhdistä verkkosivustoon. Asenna seurantakoodi. Tämä on yleensä yksi koodirivi tai lisäosan asennus.
Luo versiot ja mittarit
Luo kontrolliversio. Tämä on nykyinen versio.
Luo muutosversio. Toteuta muutoksesi.
Aseta liikenteen jako. Viisikymmentä prosenttia kummallekin.
Aseta kesto. Kaksi viikkoa tai niin kauan kuin määritit.
Aseta onnistumisen mittari. Mitä mittaat. Kassan loppuun vienti. Lomakkeen lähetys. Sivun vieritys.
Vaihe seitsemän: anna testin pyöriä kurkistelematta
Vastusta kiusausta
Tämä on vaikeaa. Vastusta kiusausta tarkistaa tuloksia.
Muutaman päivän jälkeen tulokset ovat merkityksettömiä. Satunnainen vaihtelu on valtavaa pienellä otoksella. Näet tuloksia, jotka katoavat myöhemmin.
Aseta kalenterimuistutus
Tarkista tulokset täsmälleen päättymispäivänä. Ei ennen.
Aseta kalenterimuistutus testin päättymispäiväksi. Tarkista silloin.
Vaihe kahdeksan: analysoi tulokset oikein
Etsi tilastollista merkitsevyyttä
Testi päättyy. Katsot tuloksia. Muutosversio konvertoi yksitoista prosenttia. Kontrolli kymmenen prosenttia. Muutosversio on parempi. Eikö niin.
Mutta oliko se tilastollisesti merkitsevä. Onko tämä todellista vai tuuria.
Etsi luottamusväliä tai p-arvoa. Luottamustason pitäisi olla yli yhdeksänkymmentäviisi prosenttia tai p-arvon alle nolla pilkku nolla viisi.
Mitä tilastollinen merkitsevyys tarkoittaa
Jos tilastollinen merkitsevyys sanoo kyllä, tulos on todellinen. Ota muutosversio käyttöön.
Jos tilastollinen merkitsevyys sanoo ei, tulos on epäselvä. Voi olla tuuria. Voi olla todellinen, mutta tarvitsi lisää aikaa. Aja testiä pidempään tai kokeile eri muutosta.
Vaihe yhdeksän: ota käyttöön ja dokumentoi
Jos muutosversio voittaa
Jos muutosversio voittaa, ota se pysyvästi käyttöön.
Dokumentoi, mitä opit. Miksi uskoit sen toimivan. Mitä tapahtui. Mitä testaat seuraavaksi.
Rakenna toimintakirja. Ajan myötä kaavat alkavat näkyä. Opit, mikä toimii yleisöllesi.
Jos kontrolli voittaa
Jos kontrolli voittaa, peru muutos.
Dokumentoi, miksi kontrolli voitti. Ehkä hypoteesisi oli väärä. Ehkä muutos ei ollut tarpeeksi huomattava. Ehkä yleisö ei pitänyt muutoksesta.
Hävinnyt testikin on oppimista.
Yleiset virheet ensimmäisessä testissä
Testi on liian lyhyt
Viikon jälkeen olet kärsimätön. Lopetat. Tulokset eivät ole vielä todellisia.
Useiden muutosten testaus
Muutit lomaketta, painiketta ja tekstiä. Lomake voittaa, mutta oliko se lomake vai painike. Nyt et tiedä.
Ei vaatimusta merkitsevyydestä
Muutosversio on yhden prosentin parempi. Voi olla tuuria. Otat sen käyttöön. Myöhemmin se ei pidä paikkaansa.
Testaus kaikilla kävijöillä
Muutos hermostuttaa sinua. Testaat yhdeksänkymmentä prosenttia nykyiselle, kymmenen uudelle. Testi kestää ikuisuuden.
Käyttöönottoon ei sitouduta
Testi päättyy. Muutosversio voittaa. Sanot, että otamme sen käyttöön myöhemmin. Et koskaan tee sitä. Testi ei tuottanut mitään arvoa.
Mikä erottaa voittajat muista
Ei älykkäämpi testaus
Ei älykkäämpi testaus. Johdonmukainen testaus.
Voittava toimintatapa
Voittajayritykset ajavat testin. Tulokset tulevat. Ne ottavat voittajan heti käyttöön. Ne ajavat seuraavan testin.
Ne sitoutuvat testausohjelmaan. Ei yksittäisiä testejä. Jatkuvaa testausta. Kuukausi kuukauden jälkeen.
Ne rakentavat sisäistä tietoa. Viidenkymmenen testin jälkeen ne tuntevat yleisönsä. Tietävät, mikä toimii. Tietävät, mikä ei. Ne liikkuvat nopeammin kuin kilpailijat.
Kasautuva kasvu
Testaa kerran, mitään ei tapahdu. Testaa viisikymmentä kertaa, kaikki muuttuu.
Usein kysytyt kysymykset
Entä jos huomaan testin olevan rikki kesken kaiken. Esimerkiksi seuranta lakkasi toimimasta. Pitäisikö aloittaa alusta?
Kyllä. Rikkinäinen testi on hyödytön. Aloita alusta. Jos seuranta on rikki, sinulla ei ole todellista dataa. Siksi testiä kannattaa tarkistaa satunnaisesti (ei pakkomielteisesti, mutta vähintään kerran). Huomaa vika ajoissa. WEMASY-sivustonrakentajalla voit määrittää tämän suoraan verkkosivustollesi.
Voinko muuttaa testin hypoteesia sen ollessa käynnissä, jos esiin tulee uutta tietoa?
Et. Kirjoita hypoteesi ennen testin alkua. Pysy siinä. Jos hypoteesi vaikuttaa väärältä kesken testin, kirjaa se ylös. Mutta päätä testi alkuperäisellä hypoteesilla. Aja uusi testi uudella hypoteesilla myöhemmin.
Jos muutosversio on selvästi huonompi, voinko lopettaa testin etuajassa?
Vain jos se rikkoo jotain. Jos muutosversio aiheuttaa virheitä, lopeta. Muuten ei. Vaikka häviäisit suurella erolla, aja koko kesto. Opi, miksi se hävisi. Käytä tuo oppi hyödyksi.
Mitä teen, jos tilastollinen merkitsevyys sanoo ei, mutta uskon tuloksen olevan todellinen?
Aja testi uudelleen. Sama muutos. Mutta pidempään tai suuremmalla liikenteellä. Jos tulos on todellinen, se näkyy uudelleen. Jos ei, intuitio oli väärässä ja matematiikka oikeassa.
Mistä tiedän tuloksissa, mikä versio on kontrolli ja mikä muutosversio?
Testityökalusi merkitsee ne. Varmista, että tiedät, kumpi on kumpi, ennen aloitusta. Ota kuvakaappaus. Kontrolli on versio A. Muutosversio on versio B. Kun tulokset tulevat, tarkista muistiinpanosi.
Pitääkö minun kertoa esihenkilölleni, että ajan testejä, vai riittääkö näyttää tulokset?
Kerro hänelle. Hän ymmärtää, että testaus vie aikaa. Aseta odotukset. Testaus kestää kaksi viikkoa. Jos muutosversio voittaa, otamme sen käyttöön. Jos ei, kokeilemme jotain muuta. Avoimuus estää yllätykset, kun et ota käyttöön muutosta, jota hän odotti.