Attribuutio kertoo, mikä kanava saa kunnian konversiosta. Mutta tuoko kanava konversion todella vai olisiko se tapahtunut joka tapauksessa? Inkrementaalisuustestaus vastaa tähän kokeilla: altista osa käyttäjistä kanavalle (testiryhmä), jätä toiset altistamatta (verrokkiryhmä) ja mittaa konversioasteiden ero. Ero on todellinen lisävaikutus. Tässä luvussa käydään läpi inkrementaalisuustestaus ja se, milloin sitä kannattaa käyttää.
Attribuutio vs. inkrementaalisuus
Attribuutio: kuka kanava kosketti konvertoineita ihmisiä viimeksi? Helppo mitata, mutta ei todista syy-yhteyttä.
Inkrementaalisuus: jos poistamme tämän kanavan kokonaan, kuinka paljon tuloja menetämme? Tämä todistaa syy-yhteyden ja mittaa todellisen vaikutuksen.
Esimerkki: 100 ihmistä konvertoi. Google Adsin viimeinen klikkaus = 60 saa kunnian. Mutta inkrementaalisuustesti osoittaa: jos emme olisi ajaneet Google Adsia, 50 näistä 60:stä olisi silti konvertoinut (muiden kanavien kautta). Google Adsin todellinen inkrementaalisuus = 10 konversiota, ei 60.
Inkrementaalisuustestien tyypit
Maantieteellinen testaus
Aja mainoksia joillakin alueilla (testi) ja ei toisilla (verrokki). Vertaa konversioasteita. Esimerkki: aja Google Adsia San Franciscossa (testi), ei Berkeleyssä (verrokki). Jos San Franciscon konversioaste on korkeampi, mainokset tuovat lisävaikutusta.
Etu: yksinkertainen, nopea. Haitta: alueiden erot voivat vääristää tuloksia (San Francisco on varakkaampi, mikä nostaa konversioastetta).
Pidätysryhmät (holdout)
Näytä mainoksia kaikille paitsi satunnaiselle 10 %:lle (verrokki). Vertaa konversioasteita: mainoksille altistuneet käyttäjät vs. pidätysryhmän käyttäjät. Ero on inkrementaalisuus.
Etu: tarkka, kontrolloi sekoittavia tekijöitä. Haitta: vaatii suuren budjetin (emme kohdenna 10 %:iin yleisöstämme vaikutuksen mittaamiseksi).
Aikapohjainen testaus
Aja mainoksia joinakin ajanjaksoina (testi) ja ei toisina (verrokki). Esimerkki: aja maksettua hakua ma-to, ei pe-su. Vertaa konversioasteita. Jos ma-to on korkeampi, mainokset tuovat lisävaikutusta.
Etu: yksinkertainen. Haitta: viikonpäivät vääristävät (viikonloppuisin konversio on luonnostaan matalampi).
Inkrementaalisuustestin ajaminen
Vaihe 1: määritä hypoteesi. 'Google Ads tuo lisäkonversioita lähtötason yli.'
Vaihe 2: valitse testin tyyppi. Pidätysryhmät on tarkin. Käytä sitä, jos budjetti sallii.
Vaihe 3: mitoita testi. Tarvitset riittävän otoksen eron havaitsemiseen. Jos lähtötason konversio = 5 % ja haluat havaita 2 %:n nousun, tarvitset noin 10 000 per ryhmä. Kysy tilastotieteilijältä tai käytä otoskokolaskuria.
Vaihe 4: aja testiä 2-4 viikkoa. Pidemmät testit vähentävät päivittäisen vaihtelun vaikutusta.
Vaihe 5: analysoi tulokset. Onko ero tilastollisesti merkitsevä? (p < 0.05). Jos on, olet todistanut inkrementaalisuuden.
Inkrementaalisuustestauksen haasteet
Kustannus: pidätysryhmät tarkoittavat tulojen menettämistä tarkoituksella (emme kohdenna 10 %:iin yleisöstämme). Kannattaa vain paljon rahaa vaativille kanaville, joissa oivallus on arvokas.
Kannibalisointi: jos käyttäjä ei näe mainostasi, hän voi käyttää orgaanista hakua tai tulla suoraan. Inkrementaalisuus huomioi tämän (se sisältyy verrokkiryhmän käyttäytymiseen).
Pitkän aikavälin vaikutukset: mainoksilla voi olla brändivaikutus, joka näkyy päivien tai viikkojen päästä. Useimmat testit ovat lyhyen aikavälin testejä ja ohittavat pitkän aikavälin vaikutukset.
Miten päätän, ajanko inkrementaalisuustestin?
Inkrementaalisuus on kallista (pidätysryhmä maksaa rahaa). Aja testejä: paljon rahaa vaativille kanaville (Google Ads, Facebook Ads), kun attribuutio on epäselvä ja kun teet suuria budjettipäätöksiä. Älä testaa: pieniä kanavia tai kanavia, joissa attribuutio on selvä. Budjetti: 10 000-50 000+ $ per testi. Varaa testi tärkeimmille kysymyksille.
Kuinka suuri otos tarvitaan inkrementaalisuustestiin?
Riippuu lähtötason konversioasteesta ja havaittavasta noususta. Nyrkkisääntö: tarvitaan 5 000-10 000 per ryhmä (verrokki ja testi). Jos lähtötaso on 5 % ja haluat havaita 2 %:n nousun (uusi aste 7 %), tarvitset noin 10 000 per ryhmä. Käytä otoskokolaskuria (hae 'statistical power calculator') saadaksesi tarkan luvun tilanteeseesi.
Kuinka kauan inkrementaalisuustestiä pitäisi ajaa?
Vähintään 2-4 viikkoa (päivittäisen vaihtelun tasaamiseksi). 4-8 viikkoa on parempi (tavoittaa viikoittaiset kuviot). Pidemmät testit = korkeammat kustannukset mutta luotettavampi tulos. Jos myyntisyklisi on 30 päivää, aja testiä yli 30 päivää, jotta koko sykli tulee mukaan.
Voinko käyttää inkrementaalisuustestausta kanavien vuorovaikutusten mittaamiseen (miten yksi kanava auttaa toista)?
Kyllä, mutta se on monimutkaisempaa. Testin suunnittelu: (1) verrokki (ei kanavia), (2) testi A (vain kanava A), (3) testi B (vain kanava B), (4) testi A+B (molemmat kanavat). Vertaa tuloksia. Jos A+B > A + B, on synergiaa. Tämä vaatii suurempia otoksia ja monimutkaisempaa analyysia.
Mikä ero on pidätysryhmällä ja verrokkiryhmällä testauksessa?
Pidätysryhmä: osa asiakaskunnastasi, joka ei näe kanavaa (tarkoituksella). Verrokkiryhmä: kokeessa ryhmä, joka ei saa käsittelyä (vertailua varten). Sama käsite, eri termi. Pidätysryhmä on jatkuva (pysyvä pidätysryhmä), verrokki on tietyn testin ajaksi.
Miten esitän inkrementaalisuustestin tulokset johdolle?
Näytä: lähtötason konversio (5 %), testiryhmän konversio (6 %), nousu (1 prosenttiyksikkö, 20 % suhteellinen kasvu). Näytä luottamusväli: nousu on 0,5-1,5 prosenttiyksikköä (olemme varmoja tästä vaihteluvälistä). Budjettivaikutus: jos inkrementaalisuus on 20 % matalampi kuin attribuutio väitti, laske ROI uudelleen. Näin testin kustannus perustellaan parempien päätösten avulla.