Tuotesivullasi on otsikko. Luulet, että toinen otsikko voisi konvertoida paremmin. Voit arvata. Tai voit näyttää puolelle kävijöistäsi vanhan otsikon ja puolelle uuden, mitata kummankin konversioasteen ja antaa datan ratkaista, kumpi on parempi. Se on A/B-testausanalytiikkaa.
A/B-testaus käyttää dataa vaihtoehtojen vertailuun ja voittajan löytämiseen. Tässä artikkelissa kerrotaan, miten A/B-testit toimivat, mitä tilastollinen merkitsevyys tarkoittaa, miksi otoskoolla on väliä, mitkä ovat yleisiä testausvirheitä ja miten valitset testaamisen arvoisia vaihtoehtoja.
A/B-testaus (myös jaettu testaus) vertaa jonkin asian kahta versiota nähdäkseen, kumpi toimii paremmin. Versio A (kontrolli): nykyinen otsikkosi. Versio B (vaihtoehto): toinen otsikko. Jaat liikenteesi 50/50, mittaat, kumpi otsikko konvertoi enemmän, ja julistat voittajan.
A/B-testaus vastaa: onko tämä muutos oikeasti parempi vai onko ero pelkkää tuuria? Ilman testausta luotat vaistoon. Testauksen kanssa luotat dataan.
Mitä A/B-testaus on ja mihin se vastaa
A/B-testaus vertaa kahta versiota ja mittaa, kumpi toimii paremmin tietyllä mittarilla. Napsautussuhde. Konversioaste. Aika sivulla. Liikevaihto per kävijä. Ajat testiä, kunnes dataa on tarpeeksi päätöksentekoon.
A/B-testi vastaa: onko versioiden välinen ero todellinen vai satunnainen? Kannattaako tämä muutos tehdä vai pitäisikö kokeilla jotain muuta? Vastaus tulee datasta, ei mielipiteestä.
Miten tilastollinen merkitsevyys toimii
Testaat kahta otsikkoa. Otsikko A konvertoi 10 prosenttia (100 / 1 000). Otsikko B konvertoi 10,5 prosenttia (105 / 1 000). Otsikko B on parempi. Mutta onko ero todellinen vai pelkkää satunnaista vaihtelua?
Tilastollinen merkitsevyys vastaa: jos näiden otsikoiden välillä ei olisi eroa, kuinka todennäköistä on, että näkisit näin suuren eron pelkästä sattumasta? Jos todennäköisyys on hyvin pieni (alle 5 prosenttia), ero on tilastollisesti merkitsevä. Voit luottaa sen olevan todellinen.
Jos todennäköisyys on suuri (yli 5 prosenttia), ero voi olla satunnaista tuuria. Sen perusteella ei kannata toimia.
Useimmat testit vaativat 95 prosentin luottamustason, eli eron satunnaisuuden todennäköisyyden pitää olla vain 5 prosenttia. Jotkin testit vaativat 99 prosentin luottamustason (vain 1 prosentin satunnaisuuden mahdollisuus).
Miksi otoskoolla on väliä testauksessa
Testaat otsikkoa B 20 ihmisellä ja saat 20 prosentin konversioasteen (4 konversiota). Otsikko A sai 10 prosenttia (2 konversiota). Otsikko B on parempi, eikö niin? Ehkä. Tai se on satunnaista tuuria näin pienellä otoksella.
Testaa samoja otsikoita 10 000 ihmisellä. Otsikko A saa 1 000 konversiota 10 000:sta (10 prosenttia). Otsikko B saa 950 konversiota 10 000:sta (9,5 prosenttia). Nyt otsikko A on parempi. Suuremmalla otoksella satunnaisuus tasoittuu ja todelliset kaavat tulevat esiin.
Suuremmat otoskoot antavat enemmän luottamusta tulokseen. Pienemmät otokset ovat kohinaisia ja epäluotettavia.
Yleisiä A/B-testausvirheitä
Testin lopettaminen liian aikaisin: Näet yhden vaihtoehdon voittavan kahden päivän jälkeen. Julistat voiton ja otat sen käyttöön. Mutta kahden viikon jälkeen kaava kääntyy ja alkuperäinen voittaa. Aikainen data oli satunnaista vaihtelua. Anna testin pyöriä tarpeeksi kauan (vähintään kaksi viikkoa, mieluiten neljä).
Liian monen testin ajaminen kerralla: Testaat otsikkoa, painikkeen väriä ja lomakkeen pituutta samaan aikaan. Yksi vaihtoehto voittaa, mutta et tiedä, mikä osa sen aiheutti. Testaa yksi asia kerrallaan.
Merkityksettömien muutosten testaaminen: Testaat painikkeen väriä (sininen vs hieman tummempi sininen). Testi tarvitsee 100 000 kävijää osoittaakseen tilastollisesti merkitsevän eron. Testaa muutoksia, joilla on väliä (otsikko vs eri arvolupaus, ei sininen vs hieman vähemmän sininen).
Kausivaihtelun sivuuttaminen: Ajat testin marraskuusta tammikuuhun. Vaihtoehtosi voittaa. Mutta tammikuu on hiljaisempaa aikaa. Kun ajat sen koko vuoden, se häviää. Aja testit aina usean kauden läpi.
Korrelaation sekoittaminen syy-yhteyteen: Versio B voittaa. Oletat muutoksen aiheuttaneen voiton. Mutta käynnistit myös markkinointikampanjan testin aikana. Kampanja, ei vaihtoehto, aiheutti voiton. Huomioi ulkoiset tekijät.
Näin valitset, mitä testata
Testaa muutoksia, joilla on suuri potentiaalinen vaikutus. Pienet muutokset eivät välttämättä liikuta lukuja, vaikka voittaisivatkin. Painikkeen värin muutos voi nostaa konversiota 0,5 prosenttia. Otsikon muutos voi nostaa konversiota 5 prosenttia. Testaa suurempia muutoksia ensin.
Testaa muutoksia, jotka vastaavat hypoteesiasi. Jos hypoteesisi on "sekava kassalomake aiheuttaa poistumaa", testaa yksinkertaisempaa lomaketta. Älä testaa satunnaisia värejä ja painikkeiden sijainteja.
Testaa muutoksia yksi kerrallaan. Jos muutat otsikkoa, painikkeen tekstiä ja lomakekenttiä samanaikaisesti, et voi tietää, mikä aiheutti parannuksen.
Näin luet A/B-testin tuloksia
Tulos näyttää: versio A:n konversioaste oli 10 prosenttia. Versio B:n konversioaste oli 11 prosenttia. B on 10 prosenttia parempi (suhteellinen parannus). Luottamustaso on 95 prosenttia ja p-arvo 0,03.
Mitä tämä tarkoittaa: versio B on parempi. Olemme 95 prosentin varmuudella sitä mieltä, että ero on todellinen eikä satunnaista tuuria.
Jos luottamustaso on 85 prosenttia (p-arvo 0,15), tulos ei ole tilastollisesti merkitsevä. Voittajaa ei pidä julistaa, tarvitaan lisää dataa.
Milloin jatkaa testausta ja milloin lopettaa
Jatka testausta, jos: tulos ei ole tilastollisesti merkitsevä etkä ole saavuttanut otoskokotavoitettasi, tai olet oppinut jotain odottamatonta ja haluat kaivaa syvemmälle.
Lopeta testaus, jos: olet saavuttanut tilastollisen merkitsevyyden ja voit julistaa voittajan, tai olet ajanut testiä neljä viikkoa tai pidempään eivätkä tulokset etene kohti merkitsevyyttä. Siinä vaiheessa vaihtoehdot ovat todennäköisesti yhtä hyviä.
Usein kysytyt kysymykset
Kuinka monta kävijää tarvitsen pätevään A/B-testiin?
Se riippuu lähtötason konversioasteestasi ja siitä, kuinka suuren muutoksen haluat havaita. Pienellä sivustolla, jolla on 100 kävijää päivässä, tilastollisen merkitsevyyden saavuttaminen voi kestää kaksi viikkoa. Suurella sivustolla, jolla on 10 000 kävijää päivässä, se voi onnistua kahdessa päivässä. Käytä otoskokolaskuria (useimmissa A/B-testaustyökaluissa on sellainen sisäänrakennettuna). Voit ottaa tämän käyttöön suoraan omalla sivustollasi WEMASY-sivustonrakentajalla.
Mitä 0,05:n p-arvo tarkoittaa?
Se tarkoittaa, että on 5 prosentin mahdollisuus, että näkemäsi ero on satunnaista tuuria. 95 prosentin luottamustaso. Useimmat käyttävät rajana 0,05: jos p-arvo on alle 0,05, tulos on tilastollisesti merkitsevä.
Voinko katsoa tuloksia testin aikana ja lopettaa aikaisin, jos yksi vaihtoehto voittaa?
Et. Tätä kutsutaan vilkuiluksi (peeking), ja se johtaa vääriin johtopäätöksiin. Jos lopetat aikaisin, kun yksi vaihtoehto on edellä, saatat missata todellisen voittajan. Anna testin aina pyöriä suunnitellun ajan.
Entä jos testissäni on erittäin suuri parannus mutta matala tilastollinen merkitsevyys?
Se tarkoittaa yleensä, että otoskokosi on liian pieni. Sinulla on lupaava signaali, mutta ei tarpeeksi dataa sen vahvistamiseen. Aja testiä pidempään tai hanki lisää liikennettä.
Pitäisikö testata yhtä elementtiä vai useita kerralla?
Testaa yksi elementti kerrallaan (monimuuttujatestaus on monimutkaista eikä yleensä kannata, ellei liikennettä ole todella paljon). Yhden asian testaaminen kertoo, mikä muutoksen aiheutti.
Kuinka monta A/B-testiä pitäisi ajaa samanaikaisesti?
Yleensä yhden kerrallaan, etenkin jos testaus on sinulle uutta. Kun olet kokenut ja liikennettä on paljon, voit ajaa useita testejä eri sivuilla samanaikaisesti. Älä aja kahta testiä samalla sivulla samaan aikaan.