Ero testausprojektin ja testauskulttuurin välillä
Testausprojekti
Ajat muutaman testin. Katsot, mikä toimii. Siirryt eteenpäin. Testaus on työkalu, jota käytät tarvittaessa. Sitten lopetat.
Testauskulttuuri
Ajat testejä jatkuvasti. Voittajat ohjaavat seuraavaa testiä. Oppiminen kertyy. Vuodesta toiseen testaus kasvaa korkoa korolle.
Jokainen muutos testataan. Jokainen päätös perustuu dataan. Testaus on tapa tehdä päätöksiä, ei projekti, jonka ajat silloin tällöin.
Yritykset, joilla on testauskulttuuri, päihittävät kilpailijat, joilla sitä ei ole. Ei paljoa yhdellä testillä. Mutta vuosien mittaan siitä kertyy valtava etu.
Johdon tuen hankkiminen
Ongelma
Useimmat testausohjelmat epäonnistuvat, koska johto ei ymmärrä testausta tai ei sitoudu siihen.
Mitä johto kuulee
Kun ehdotat testausohjelmaa, johto kuulee: tämä vie aikaa ja maksaa rahaa.
Mitä johdon pitää kuulla
Näytä rahat. Aja yksi testi. Todista, että se toimii. Laske tulovaikutus. Tämä testi paransi konversiota kaksi prosenttia. Se tuo viisikymmentätuhatta dollaria lisää vuositulosta. Testaustyökalu maksaa kaksitoistatuhatta. Nettohyöty on kolmekymmentäkahdeksantuhatta.
Nyt johto näkee testauksen investointina, ei kuluna.
Testauksen tiekartan rakentaminen
Älä aja satunnaisia testejä
Suunnittele testauksen tiekartta. Tiekartta tunnistaa suuren vaikutuksen alueet. Lomakkeet. Otsikot. Tarjoukset. Kassa. Jokainen alue saa testausprioriteetin.
Järjestä vaikutuksen mukaan
Tiekartta asettaa testit järjestykseen. Testaa suuren vaikutuksen kohteet ensin. Keskisuuren vaikutuksen toiseksi. Pienen vaikutuksen myöhemmin.
Tiimin sitoutuminen
Tiekartta sitouttaa tiimit testaamiseen. Suunnittelijat tietävät testaavansa painikkeiden ulkoasuja. Tuotetiimi tietää testaavansa tarjousta. Kaikki tietävät, mitä on tulossa.
Tee neljännesvuosittainen tiekartta. Päivitä sitä kuukausittain tulosten perusteella. Neljännesvuosisuunnittelu pitää tiimin keskittyneenä.
Omistajuuden ja vastuun jakaminen
Ongelma
Testaus epäonnistuu, jos kukaan ei omista sitä. Markkinointi sanoo, että vastuu on tuotteella. Tuote sanoo, että vastuu on kehityksellä. Testausta ei koskaan tehdä.
Ratkaisu
Nimeä testauksen omistaja. Se voi olla kasvupäällikkö. Se voi olla tuotepäällikkö. Yksi henkilö vastaa testausohjelmasta.
Testauksen omistaja määrittää tiekartan. Ajaa testit. Dokumentoi tulokset. Jakaa oppimisen. Koordinoi tiimien välillä. Ilman omistajaa testaus pysähtyy.
Tiimien kouluttaminen tilastolliseen ajatteluun
Ongelma
Useimpia ihmisiä ei ole koulutettu tilastotieteeseen. He katsovat lukuja ja tekevät päätöksiä vaistolla.
Testiversio on yhdeksän prosenttia. Verrokki on kahdeksan pilkku kahdeksan prosenttia. Näyttää siltä, että testiversio voitti. Tilastoihin perehtymätön ajattelee, että testiversio on parempi.
Tilastotieteilijä tarkistaa luottamustason. Kahdeksankymmentäkaksi prosenttia. Alle yhdeksänkymmenenviiden prosentin rajan. Ei merkitsevä. Ero voi johtua sattumasta.
Ratkaisu
Tiimien kouluttaminen tilastotieteen perusteisiin ehkäisee vääriä päätöksiä. Koulutuksen aiheet: mitä tilastollinen merkitsevyys on. Miksi yhdeksänkymmentäviisi prosenttia on tärkeä raja. Miten luottamusvälejä luetaan. Mitä otoskoko tarkoittaa.
Hyvä testausohjelma kouluttaa tiimiä tilastotieteessä.
Yhteisen oppimisen ja dokumentaation luominen
Miksi dokumentaatio on tärkeää
Jokainen testi opettaa jotain. Oppi katoaa, jos sitä ei dokumentoida.
Miten dokumentoida
Luo testiarkisto. Jokainen testi saa oman sivun. Hypoteesi. Tulokset. Oppi.
Viidenkymmenen testin jälkeen sinulla on viisikymmentä sivua oppia. Uusi tiimin jäsen lukee viisikymmentä sivua ja ymmärtää, mikä toimii yleisöllesi.
Hyvä dokumentaatio: hypoteesi, tulokset, oivallus ja mitä testata seuraavaksi.
Huono dokumentaatio: testi yksi voitti, testi kaksi hävisi. Ei oivallusta.
Testauksen tekeminen osaksi prosessia
Vapaaehtoinen testaus epäonnistuu
Jos testaus on vapaaehtoista, se loppuu kiireen iskiessä. Tiimit asettavat sen etusijalta syrjään kiireellisten projektien tieltä.
Pakollinen testaus pysyy hengissä
Tee testauksesta pakollista. Jokainen muutos kulkee testausprosessin läpi. Muutosta ilman testiä ei hyväksytä.
Tämä vaatii prosessin muutosta. Mutta se varmistaa, että testausta tehdään johdonmukaisesti.
Esimerkkiprosessi
Yksi: Ehdota muutosta hypoteesin kanssa. Kaksi: Hanki lupa testata. Kolme: Aja testi kaksi viikkoa. Neljä: Testauksen omistaja hyväksyy tulokset. Viisi: Jos tulos on merkitsevä, ota muutos käyttöön. Kuusi: Dokumentoi oppi. Seitsemän: Suunnittele seuraava testi.
Voittojen juhliminen ja viestiminen
Ongelma
Testausohjelma kuolee, jos voitoista ei kerrota.
Ratkaisu
Juhli voittoja. Jaa tulokset. Näytä vaikutus. Kuukausittainen sähköposti: "Testausohjelmamme paransi konversiota seitsemän prosenttia tällä neljänneksellä. Tässä viisi testiä, jotka veivät asioita eteenpäin. Kiitos tiimeille, jotka toteuttivat ne."
Juhliminen luo vauhtia. Luo kulttuuria. Luo uskoa siihen, että testaus toimii.
Testauksen politiikan hallinta
Ristiriita
Joku ehdottaa muutosta. Testi osoittaa, ettei muutos ole hyvä idea. Muutoksen ehdottaja turhautuu. Testaus synnyttää ristiriitaa, kun tulokset eivät vastaa oletuksia.
Ratkaisu
Esitä testaus oppimisen työkaluna. Älä keinona todistaa ihmisten olevan väärässä. Esitä se muodossa "testataan ja opitaan yhdessä."
Kun testi osoittaa jonkun olleen väärässä, kehystä se näin: "opimme jotain." Kehystä voitoksi, ei tappioksi. Ihmiset puolustautuvat, jos testaus nähdään uhkana. Ihmiset tukevat testausta, jos se nähdään oppimisena.
Testausnopeuden hallinta
Aggressiivinen lähestymistapa
Aja kymmenen testiä kuukaudessa. Päätä jokainen testi viikossa. Nopea oppiminen. Suurempi riski vääriin positiivisiin tuloksiin. Korkeampi virheprosentti.
Konservatiivinen lähestymistapa
Aja kolme testiä kuukaudessa. Päätä jokainen testi kahdessa tai kolmessa viikossa. Hitaampi oppiminen. Matalampi virheprosentti. Turvallisempi.
Tasapainoinen lähestymistapa
Useimpien yritysten kannattaa valita tasapainoinen tapa. Viisi tai kuusi testiä kuukaudessa. Kahden viikon kesto. Kohtuullinen virheprosentti. Kohtuullinen oppimisnopeus. Älä uhraa laatua nopeuden vuoksi. Yksi laadukas testi voittaa kymmenen heikkolaatuista.
Laskevan rajahyödyn ymmärtäminen
Kaava
Ensimmäiset kaksikymmentä testiä vievät asioita eteenpäin. Jokainen testi parantaa jotain. Tiekartta on täynnä suuren vaikutuksen mahdollisuuksia.
Testit kahdestakymmenestä neljäänkymmeneen vaikuttavat vähemmän. Opit yhä, mutta parannukset ovat pienempiä. Ilmeisiä mahdollisuuksia on vähemmän.
Neljänkymmenen testin jälkeen: mahdollisuudet ovat pieniä. Parannukset ovat pieniä. Tämä on normaalia.
Ratkaisu
Älä tulkitse laskevaa rajahyötyä testauksen epäonnistumiseksi. Tulkitse se kypsyydeksi. Kun laskeva rajahyöty alkaa, vaihda painopistettä. Laajan testauksen sijaan aja testejä uusilla alueilla. Uudet tuotteet. Uudet segmentit. Uudet markkinat.
Testausohjelman pitkän aikavälin kestävyys
Riski
Testausohjelma pyörii vahvasti kuusi kuukautta. Sitten se hidastuu. Ihmisillä on kiire. Testaus asetetaan alemmas. Ohjelma hiipuu.
Miten pitää yllä
Kestävä ohjelma vaatii jatkuvaa sitoutumista. Vaatii resursseja. Vaatii omistajuutta. Varaa budjetti testaustyökaluille. Varaa budjetti testaajalle. Rakenna testaus osaksi vuositavoitteita.
Jos testaus on vuoden prioriteetti, testausta tehdään. Jos testaus on mukava lisä, testaus loppuu.
Usein kysytyt kysymykset
Miten saan epäilevät tiimiläiset vakuuttuneiksi siitä, että testaus toimii?
Näytä heille yksi testi. Aja yksinkertainen testi paljon liikennettä saavalle elementille. Hanki tulokset. Näytä voittava parannus. Näytä tulovaikutus. Yksi onnistunut testi käännyttää epäilijät. Tulokset puhuvat sanoja kovempaa. Esimerkki: aja painikkeen värin testi. Näytä tulokset: sininen painike konvertoi yhdeksän prosenttia, punainen painike kahdeksan pilkku viisi prosenttia. Kahdeksan prosentin parannus. Laske vaikutus: jos verkkosivustollasi on kymmenentuhatta kävijää kuukaudessa ja kaksi prosenttia konvertoi, se on kaksisataa konversiota kuukaudessa. Kahdeksan prosentin parannus on kuusitoista lisäkonversiota kuukaudessa. Jos keskimääräinen tilausarvo on sata dollaria, se on tuhat kuusisataa dollaria lisätuloa kuukaudessa. Yhdeksäntoista tuhatta dollaria vuodessa. Näytä tämä epäilevälle työkaverille. Epäilys katoaa, kun puhutaan rahasta. WEMASY-sivustonrakentajalla voit ottaa tämän käyttöön suoraan verkkosivustollasi.
Pitäisikö testaus siirtää myöhemmäksi, jos meillä on kiire projektien kanssa?
Ei. Testauksen pitäisi kuulua projektin toimitukseen. Jokainen projektin muutos testataan ennen käyttöönottoa. Testaus ei lisää aikaa, jos se on rakennettu prosessiin. Se estää ottamasta käyttöön asioita, jotka eivät toimi. Esimerkki: julkaiset uuden kassapolun. Ilman testausta: otat käyttöön, julkaiset, huomaat että yhdeksänkymmentä prosenttia kävijöistä hämmentyy uudesta polusta, peruutat, korjaat, julkaiset uudelleen. Yhteensä kolme viikkoa. Testauksen kanssa: testaat uutta polkua viikon ennen julkaisua, huomaat ongelmat, korjaat ja julkaiset toimivan polun luottavaisin mielin. Yhteensä kaksi viikkoa. Testaus säästää aikaa estämällä huonot julkaisut. Rakenna testaus aikatauluun alusta alkaen, älä jälkikäteen.
Kuinka usein vanhoja testituloksia pitäisi tarkastella uudelleen?
Tarkastele uudelleen, kun olosuhteet muuttuvat. Uusi vuodenaika. Uusi kilpailija. Suuri muutos liiketoiminnassa. Muuten jokainen testitulos on voimassa omalla ajanjaksollaan. Jatkuvaa uusintatestausta ei tarvita. Esimerkki: testasit tarjousta tammikuussa. Rahat takaisin -takuu voitti kymmenen prosentin alennuksen. Otit rahat takaisin -takuun käyttöön. Nyt heinäkuussa kilpailija julkaisee rahat takaisin -takuun. Etusi katoaa. Pitäisikö tarjous testata uudelleen. Ehkä. Kilpailijan siirto muutti markkinaa. Voittajasi ei välttämättä ole enää relevantti. Kausittaiset tarkastelut: testaa tarjouksia Black Friday -kauden aikana. Tulokset voivat olla heinäkuussa erilaisia, koska ostokäyttäytyminen on erilaista. Testaa tarjoukset uudelleen heinäkuussa. Tulokset ohjaavat heinäkuun omaa strategiaa.
Pitäisikö testata keskimääräiselle kävijälle vai tietylle segmentille?
Aloita keskimääräisestä kävijästä. Hanki lähtötaso. Siirry sitten segmentteihin. Jos optimoit vain yhdelle segmentille, kokonaissuorituskyky kärsii. Esimerkki: testaat optimointia vain mobiilissa, koska mobiililiikennettä on eniten. Työpöydän lähtötaso on kymmenen prosenttia. Mobiilin lähtötaso on seitsemän prosenttia. Optimoit mobiilille ja mobiili hyppää kahdeksan prosentin parannukseen. Mutta työpöydän lähtötaso putoaa yhdeksään prosenttiin, koska muutokset eivät toimi työpöydällä. Sait mobiiliparannuksen mutta vahingoitit työpöytää. Kokonaisuutena menetit asemia. Testaa ensin laajasti ymmärtääksesi yleisen vaikutuksen. Testaa sitten segmenttejä optimoidaksesi segmenttikohtaisesti.
Miten pidämme vauhdin yllä, jos testit häviävät jatkuvasti?
Häviävät testit opettavat, mikä ei toimi. Arvokasta dataa. Voittavat testit tulevat. Jatka testaamista. Rakenna häviöistä opitun varaan. Esimerkki: testaa viittä otsikkoa. Kolme häviää nykyiselle otsikolle. Kaksi voittaa. Voitot kertovat, mikä toimii. Häviöt kertovat, mihin yleisö ei reagoi. Nyt tiedät, että "kiireellinen" viestintä häviää (ihmiset eivät pidä painostuksesta). Tiedät, että "konkreettinen hyöty" -viestintä voittaa (ihmiset pitävät selkeydestä). Seuraava testi rakentuu tämän opin päälle. Testaa vielä konkreettisempia hyötyjä. Testit kasautuvat. Häviävät testit eivät ole epäonnistumisia. Ne ovat datapisteitä.
Mitä teemme, jos testaus osoittaa koko lähestymistapamme vääräksi?
Juhli. Opit jotain arvokasta. Nyt vaihda suuntaa. On parempi oppia tämä testauksella kuin hiljaisena tulojen menetyksenä. Esimerkki: luulet kohdeyleisösi haluavan premium-tuotteen. Testi osoittaa, että yleisö suosii edullista vaihtoehtoa. Premium-asemointisi oli väärä. Juhlan hetki: opit juuri jotain, mikä olisi maksanut sinulle rahaa vuosien ajan, jos et olisi testannut. Nyt säädä strategiaa. Muuta viestintä edulliseksi. Testaa uutta asemointia. On parempi huomata tämä viidenkymmenentuhannen dollarin tulomenetyksen kohdalla kuin viiden miljoonan dollarin tulomenetyksen kohdalla.