Testin lopettaminen liian aikaisin (kurkistusharha)
Virhe
Suurin virhe: tulosten tarkistaminen yhden viikon jälkeen, vaikka testi oli suunniteltu kahdeksi viikoksi.
Miksi se on virhe
Yksi viikko antaa 400 konversiota versiota kohden. Kaksi viikkoa antaa 800. Kun konversioita on 400, satunnainen kohina on suurempaa. Näet eroja, jotka katoavat, kun dataa kertyy lisää.
Esimerkki: ensimmäisellä viikolla testiversion konversio on 9 prosenttia. Kontrolliversion 8 prosenttia. Yhden prosenttiyksikön voitto näyttää todelliselta. Kurkistat ja innostut. Toisella viikolla testiversio putoaa 8,5 prosenttiin. Kontrolliversio pysyy 8 prosentissa. Voitto on puoli prosenttiyksikköä. Se on edelleen tilastollisesti merkitsevä, mutta paljon pienempi kuin ensimmäinen viikko näytti.
Jos olisit lopettanut ensimmäisen viikon jälkeen, olisit yliarvioinut testiversion hyödyn 50 prosentilla.
Näin vältät sen
Sitoudu kestoon ennen testin aloittamista. Kaksi viikkoa on vakio. Kirjoita se ylös. Älä kurkista. Aseta kalenteriin muistutus päättymispäivästä.
Useiden muutosten testaaminen kerralla
Virhe
Vaihdat otsikon. Vaihdat painikkeen värin. Vaihdat painikkeen tekstin. Vaihdat lomakkeen kentät. Neljä muutosta samaan aikaan.
Miksi se on virhe
Testiversion konversio on 12 prosenttia. Kontrolliversion 10 prosenttia. Kahden prosenttiyksikön voitto. Otat kaikki neljä muutosta käyttöön.
Kuukauden päästä konversio putoaa 9 prosenttiin. Jokin meni rikki. Mutta mikä muutos? Otsikko, painike vai lomake? Muutit neljää asiaa etkä tiedä, mikä niistä vahingoitti. Et voi oppia, mikä muutos oli hyödyllinen ja mikä haitallinen.
Näin vältät sen
Vain yksi muutos. Vaihda vain otsikko. Testaa se. Ota käyttöön, jos se voittaa. Testaa sitten painikkeen väri. Sitten lomake. Yksi muuttuja kerrallaan.
Seurantavirheet ja rikkinäiset testit
Virhe
Testi pyörii kaksi viikkoa. Tulokset näyttävät testiversion voittavan 5 prosentilla. Otat sen käyttöön. Kuukauden päästä huomaat, että seuranta oli rikki. Konversiopikseli ei lauennut 90 prosentille kävijöistä.
Miksi se on virhe
Tulokset ovat roskaa. Käyttöönotto perustui huonoon dataan. Käytit kehitysresursseja jonkin toteuttamiseen virheellisten tulosten perusteella.
Näin vältät sen
Tarkista testin asetukset pistokokein. Käy läpi yksinkertainen polku käsin. Laukeaako tapahtuma? Tarkista seurantalokit. Varmista, että pikseli laukeaa. Auditoi seuranta ennen kuin julistat voittajan.
Riittämätön otoskoko
Virhe
Ajat testin vain 500 konversiolla yhteensä. Se on 250 versiota kohden. Näin pienellä otoksella satunnainen kohina on valtavaa. 5 prosentin erot ovat yleisiä. 10 prosentin erotkaan eivät yllätä.
Näet testiversion olevan 5 prosenttia kontrolliversiota korkeampi. Tilastollista merkitsevyyttä ei ole. Julistat testin epäselväksi.
Miksi se on virhe
Testin voima oli alusta asti liian pieni. Sinun olisi pitänyt tietää, että testi tarvitsi kaksi viikkoa, ei yhtä. Heikkovoimaiset testit haaskaavat aikaa ja tuottavat epäselviä tuloksia.
Näin vältät sen
Laske otoskoko ennen aloittamista. Montako konversiota tarvitset? Kuinka kauan testissä menee sinne pääsemiseen? Jos testi kestäisi kolme kuukautta, harkitse jonkin muun testaamista, josta saat tuloksia nopeammin.
Ulkoisten tekijöiden huomiotta jättäminen
Virhe
Ajat testin tiistaista torstaihin. Maanantain tulokset ovat ennen testiä. Perjantain tulokset ovat testin jälkeen. Vertaat perjantaita maanantaihin.
Mutta perjantain liikenne on erilaista kuin maanantain. Perjantaina selataan rennosti viikonlopun alla. Maanantaina selataan työn ohessa. Eri yleisöt. Eri konversioasteet. Yhdistät eron testiin, vaikka kyse on oikeasti liikenteen koostumuksen erosta.
Miksi se on virhe
Otit muutoksen käyttöön liikenteen koostumuksen eron perusteella, et testiversion tehon. Kun uusi liikennekoostumus saapuu, tulokset eivät päde.
Näin vältät sen
Aja testi riittävän pitkään, jotta liikenteen koostumus tasapainottuu. Kaksi viikkoa sisältää arkipäivät ja viikonloput. Yksi viikko voi vääristää tuloksia.
Hypoteesin vaihtaminen kesken testin
Virhe
Aloitat testin hypoteesilla: lyhyempi lomake lisää lähetyksiä.
Puolivälissä saat tukitiimiltä uutta dataa. Asiakkaat haluavat lisää kenttävaihtoehtoja. Vaihdat hypoteesin: useammat kentät voisivatkin auttaa. Nyt sinulla on yhtä hypoteesia varten suunniteltu testi, jota analysoidaan toisena hypoteesina.
Miksi se on virhe
Se sekoittaa tulokset. Et pysty sanomaan, mitä hypoteesia testi oikeasti testasi. Saatat tehdä päätöksen sekavan tulkinnan perusteella.
Näin vältät sen
Kirjoita hypoteesi ylös ennen testin aloittamista. Sitoudu siihen. Jos saat uutta tietoa ja haluat testata toista hypoteesia, päätä nykyinen testi loppuun. Aja sitten uusi testi.
Voittajien käyttöön ottamatta jättäminen
Virhe
Testi päättyy. Testiversio voittaa. Sanot: "otamme sen käyttöön myöhemmin." Myöhemmin ei koskaan tule. Testi ei tuottanut mitään arvoa. Hukkasit aikaa.
Miksi se on virhe
Voittajat tuottavat arvoa vain, jos ne otetaan käyttöön. Testausohjelma kasvaa korkoa korolle vain, jos otat voittajat käyttöön johdonmukaisesti. Yksikin käyttöön ottamaton voittaja tappaa vauhdin ja tiimin uskon testaamiseen.
Näin vältät sen
Sitoudu käyttöönottoon ennen testin ajamista. Jos testiversio voittaa, ota se käyttöön viikon sisällä. Jos kontrolliversio voittaa, palauta se heti. Älä anna voittajien lojua.
Tulosten segmentoimatta jättäminen
Virhe
Kokonaistulokset näyttävät testiversion voittavan. Otat sen käyttöön kaikille.
Mutta segmentointi näyttää: työpöydällä testiversio voittaa. Mobiilissa testiversio häviää. Kansainvälisillä kävijöillä testiversiolla ei ole vaikutusta. Yleinen käyttöönotto vahingoittaa mobiili- ja kansainvälisiä kävijöitä.
Miksi se on virhe
Optimoit kokonaiskeskiarvoa mutta vahingoitit tiettyjä segmenttejä. Mobiililiikenne saattaa kasvaa työpöytää nopeammin. Ottamalla testiversion käyttöön vahingoitat tulevaisuuden kasvusegmenttiä.
Näin vältät sen
Tarkista segmenttien tulokset aina ennen kuin julistat yleisen voittajan. Voittaja ei välttämättä ole yleispätevä. Ota se käyttöön segmenteille, joissa se voittaa. Jätä pois segmenteistä, joissa se ei voita.
Voittajan ja syy-seuraussuhteen suunnan sekoittaminen
Virhe
Testi osoittaa testiversion voittavan kontrolliversion. Oletat testiversion olevan parempi. Mutta entä jos kontrolliversio on vain rikki? Kontrolliversion painike ei toimi. Kaikki hämmentyvät. Testiversion painike toimii hyvin. Testiversio voittaa, koska kontrolliversio on rikki, ei siksi että testiversio olisi itsessään parempi.
Miksi se on virhe
Opit väärän opetuksen. Luulet painikkeen tyylin voittaneen, vaikka opit oikeasti, että "toimiva painike voittaa rikkinäisen painikkeen". Sillä on eri vaikutukset tulevaan testaukseen.
Näin vältät sen
Ymmärrä, miksi testiversio voitti. Johtuiko se siitä, että testiversio on parempi vai siitä, että kontrolliversio on huonompi? Vaikutukset ovat erilaiset.
Saman testin toistaminen toisen tuloksen toivossa
Virhe
Testi yksi: testiversio häviää kontrolliversiolle. Yrität uudelleen pienellä muunnoksella. Testi kaksi: sama tulos. Kontrolliversio voittaa taas. Yrität uudelleen. Testi kolme: sama kaava. Kontrolliversio voittaa edelleen.
Testaat samaa asiaa toistuvasti ja saat saman tuloksen.
Miksi se on virhe
Haaskaat testibudjettia lähestymistapaan, joka ei toimi. On parempi vaihtaa toiseen lähestymistapaan kuin jatkaa saman häviävän strategian testaamista.
Näin vältät sen
Lopeta saman asian testaaminen. Tarvitaan eri strategia. Nykyinen lähestymistapa ei toimi. Vaihda toiseen testiversioon.
Tulosten ja oppien dokumentoimatta jättäminen
Virhe
Testi päättyy. Tulokset näyttävät voittajan. Otat sen käyttöön. Sitten unohdat koko asian.
Kuuden kuukauden päästä uusi tiimin jäsen kysyy: "mitä opimme otsikoista?" Dokumentaatiota ei ole. Aloitat alusta.
Miksi se on virhe
Menetät organisaation tiedon. Jokaisen testin pitäisi opettaa jotain. Ilman dokumentaatiota tieto katoaa, kun tiimin jäsenet lähtevät.
Näin vältät sen
Dokumentoi jokainen testi. Hypoteesi. Tulokset. Opit. Jaa tiimille. Rakenna organisaation tietopääomaa.
Usein kysytyt kysymykset
Jos tarkistan testin tulokset kerran viikossa, kurkistanko?
Ei, jos sitoudut kahden viikon kestoon etkä muuta toimintaasi ensimmäisen viikon tulosten perusteella. Seuraat tilannetta, mutta et lopeta aikaisin. Tarkistaminen on täysin sallittua. Aikainen lopettaminen on kurkistamista. Esimerkki: ensimmäisen viikon jälkeen testiversio on 9 prosentissa ja kontrolliversio 8 prosentissa. Testiversio näyttää voittajalta. Älä ota sitä vielä käyttöön. Sitoudu täyteen kahteen viikkoon. Toisen viikon jälkeen testiversio voi olla 8,8 prosentissa ja kontrolliversio 8 prosentissa. Pienempi ero tulee esiin. Jos olisit lopettanut ensimmäisen viikon jälkeen, olisit yliarvioinut hyödyn 50 prosentilla. Sitoudu kestoon, tarkista viikoittain jos haluat, mutta älä toimi alustavien tulosten perusteella. WEMASY-sivustonrakentajalla voit tehdä tämän suoraan omalla verkkosivustollasi.
Voinko testata kahta samankaltaista asiaa samanaikaisesti (eri otsikot eri alueilla)?
Kyllä, jos alueet ovat aidosti erillisiä etkä vertaa niitä keskenään. Testaa otsikkoa A vastaan B Yhdysvaltain liikenteellä. Testaa otsikkoa C vastaan D EU:n liikenteellä. Erilliset testit. Rinnakkainen testaus on sallittua. Mutta älä vertaa A:ta C:hen alueiden välillä, koska koostumus on erilainen. Alueelliset yleisöt konvertoivat eri tahtiin. Yhdysvalloissa lähtötaso voi olla 12 prosenttia. EU:ssa 8 prosenttia. Otsikko A voittaa Yhdysvaltain alueella. Otsikko C voittaa EU:n alueella. Et voi päätellä, että otsikko A olisi yleisesti parempi, koska alueiden lähtötasot ovat erilaiset. Testaa rinnakkain mutta analysoi erikseen.
Jos tulokset eivät näytä merkitsevää eroa, pitäisikö olettaa, että versiot ovat identtiset?
Ei. Oleta, että ero on epäselvä. Ne voivat olla identtiset. Ne voivat olla erilaiset, mutta eron havaitseminen olisi vaatinut enemmän dataa. Esimerkki: kontrolliversiolla 500 konversiota. Testiversiolla 505 konversiota. Yhden prosentin ero. 88 prosentin luottamus. Ei merkitsevä. Et voi päätellä, että ne ovat identtiset. Voit päätellä vain, että ero on epäselvä. Vaihtoehdot: aja testiä pidempään, jotta saat lisää dataa. Tai jos testiversio on helpompi ottaa käyttöön kuin kontrolliversio, vaihda testiversioon, koska pahimmillaan ne ovat identtiset ja parhaimmillaan testiversio on parempi. Jos kontrolliversio on helpompi, pidä kontrolliversio.
Entä jos testini näyttää tilastollisesti merkitsevän tuloksen, mutta intuitiivisesti se tuntuu väärältä?
Luota tilastoihin, älä intuitioon. Matematiikka on intuitiota viisaampaa. Jos tilastot sanovat tuloksen olevan todellinen (95 prosentin luottamus), se todennäköisesti on. Intuitiosi voi olla väärässä. Intuitiosi perustuu rajalliseen kokemukseen. Tilastot perustuvat tuhansien kävijöiden datapisteisiin. Tee päätös tilastojen perusteella. Esimerkki: luulet punaisen painikkeen toimivan sinistä paremmin. Testi osoittaa sinisen painikkeen voittavan selvästi. Intuitiosi oli väärässä. Ota käyttöön sininen painike. Jos olisit luottanut intuitioosi ja sivuuttanut testidatan, olisit ottanut käyttöön punaisen ja vahingoittanut konversiota.
Voinko yhdistää useita pieniä ei-merkitseviä tuloksia yhdeksi isoksi merkitseväksi tulokseksi?
Ei. Jokainen testi on oma kokonaisuutensa. Et voi yhdistää epäselviä testejä yhdeksi selväksi tulokseksi. Testi yksi näyttää 85 prosentin luottamuksen testiversion voittoon. Testi kaksi näyttää 80 prosentin luottamuksen samalle testiversiolle. Yhdessä 95 prosentin luottamus? Ei. Tilastot eivät toimi niin. Jokainen testi on riippumaton. Niiden yhdistäminen on tilastollista hölynpölyä. Aja alusta asti oikein mitoitettu testi, jolla on riittävä voima. Joko sinulla on merkitsevyys tai ei ole.
Jos testi näyttää vahvan tuloksen segmentille mutta heikon kokonaisuudelle, kumman otan käyttöön?
Ota käyttöön vain segmentille, jos vahva tulos on tilastollisesti merkitsevä kyseiselle segmentille. Jos segmentti on pieni (10 prosenttia liikenteestä), tilastollisen merkitsevyyden raja on vaikeampi saavuttaa. Segmentissä voi olla väärä positiivinen tulos. Tarkista merkitsevyys nimenomaan segmentille, älä vain kokonaisuudelle. Esimerkki: kokonaistesti näyttää testiversion 9 prosentissa ja kontrolliversion 8,9 prosentissa. Tuskin merkitsevä. Mutta työpöytäsegmentissä testiversio on 10 prosentissa ja kontrolliversio 8 prosentissa. Kahden prosenttiyksikön voitto työpöydällä. Vahva ja merkitsevä työpöydälle. Mobiilisegmentissä testiversio on 8 prosentissa ja kontrolliversio 8 prosentissa. Ei eroa. Ota käyttöön vain työpöydälle. Älä ota käyttöön mobiilille. Eri segmenteillä on eri optimaaliset testiversiot.