Konversioasteesi laskee tiistaina 15 prosenttia. Et huomaa sitä ennen torstaita, kun tarkistat koontinäyttösi. Kaksi päivää menetettyä myyntiä, etkä vieläkään tiedä syytä. Poikkeamien tunnistusjärjestelmä olisi hälyttänyt sinulle keskiviikkoaamuna: "Konversio laski eilen 15 prosenttia, mobiilikassa vaikutuksen kohteena." Nyt tutkit heti. Huomaat, että julkaisu rikkoi mobiilimaksut. Korjaat sen samana iltapäivänä. Poikkeamien tunnistus on ero ongelmien löytämisessä päiviä myöhemmin ja tunteja myöhemmin.
Poikkeamien tunnistus on järjestelmä, joka seuraa mittareitasi jatkuvasti ja hälyttää, kun jotain epätavallista tapahtuu. Se ei odota, että tarkistat koontinäytön. Se tuntee perustasosi (millaista "normaali" on), vertaa jokaista päivää siihen ja merkitsee poikkeamat. Liikennepiikki, konversiopudotus tai sitoutumisen lasku havaitaan automaattisesti ja nostetaan esiin, ennen kuin niistä tulee katastrofeja.
Mitä poikkeamien tunnistus oikeasti tekee?
Ota mikä tahansa mittari, niin löydät saman kuvion: se vaihtelee luonnostaan. Konversioaste ei ole koskaan täsmälleen sama joka päivä. Liikenne vaihtelee viikonpäivän mukaan. Mobiili konvertoi eri tavalla kuin tietokone. Jos asetat hälytyksen kohtaan "konversio alle 2,5 %", saat vääriä hälytyksiä, koska konversio laskee luonnostaan joinakin päivinä 2,4 prosenttiin. Poikkeamien tunnistus ratkaisee tämän oppimalla, miltä normaali vaihtelu näyttää, ja hälyttämällä vain, kun jokin poikkeaa tuon luonnollisen vaihteluvälin ulkopuolelle.
Järjestelmä oppii perustasosi historiallisesta datasta. Se vastaa kysymykseen: millainen on odotettu vaihteluväli tälle mittarille, tälle viikonpäivälle ja tälle liikennemäärälle? Keskiviikon konversio on tyypillisesti 2,1 ja 2,9 prosentin välillä. Mobiilikonversio on tyypillisesti 1,8 ja 2,4 prosentin välillä. Sähköpostiliikenne konvertoi tyypillisesti 4 ja 6 prosentin välillä. Järjestelmä rakentaa normaalikäyttäytymisen mallin jokaiselle olosuhteiden yhdistelmälle.
Kun uusi datapiste tulee sisään, järjestelmä vertaa sitä odotettuun vaihteluväliin. Onko tämän päivän konversio normaalin keskiviikon vaihteluvälin sisällä? Kyllä, se on 2,5 prosenttia, täysin normaali. Onko huomisen konversio normaalin torstain vaihteluvälin sisällä? Ei, se on 1,2 prosenttia, ja se on poikkeama. Hälytä tiimi. He tutkivat asiaa ja huomaavat, että mobiilikassa meni rikki. Ilman poikkeamien tunnistusta he huomaisivat sen perjantai-iltapäivänä. Sen kanssa he tietävät keskiviikkoaamuna.
Eri poikkeamatyypit laukaisevat eri hälytykset. Äkillinen piikki (liikenne 200 prosenttia normaalia korkeampi) merkitään. Äkillinen pudotus (konversio 50 prosenttia normaalia matalampi) merkitään. Vähittäinen lasku (konversio laskee hitaasti viikon aikana) merkitään. Toistuva kaava, joka yhtäkkiä katkeaa (mobiili konvertoi aina 20 prosenttia paremmin kuin tietokone, mutta tällä viikolla ne ovat tasoissa), merkitään. Järjestelmä seuraa kaikkia näitä.
Miksi ongelmien varhainen havaitseminen on niin tärkeää?
Katso, miten useimmat yritykset löytävät ongelmat, niin näet kaavan: reaktiivinen löytäminen. Asiakas lähettää sähköpostia ja valittaa kassan olevan rikki. Tarkistat koontinäytön ja vahvistat asian. Tai huomaat torstaina, että maanantai oli outo, ja yrität selvittää, mitä tapahtui. Tämä on tunteja tai päiviä menetettyä mahdollisuutta.
Suuressa mittakaavassa viiveen hinta kasautuu. Verkkokauppa, jonka päivämyynti on $1 miljoonaa ja joka menettää virheen takia 15 prosenttia konversiosta, menettää $150 000 päivässä. Kahden päivän viive maksaa $300 000. Jos poikkeamien tunnistus havaitsee sen 6 tuntia aiemmin, säästät $37 500. SaaS-palvelussa, jossa on 5 000 käyttäjää ja 2 prosentin lisäpoistuma, menetetään 100 käyttäjää. Kahden viikon viive tarkoittaa 1 400 menetettyä käyttäjää. Heti havaittuna menetys on 100. Ero on tuhansia dollareita vuosittaisessa toistuvassa liikevaihdossa.
Nopeus vaikuttaa myös maineeseen. Asiakaspalvelutiimi haluaa tietää ongelmista ennen kuin asiakkaat ilmoittavat niistä. Poikkeamien tunnistuksen kanssa voit lähettää asiakkaille sähköpostia: "Havaitsimme tilisi ongelman keskiviikkoaamuna ja korjasimme sen iltapäivään mennessä." Ilman sitä asiakkaat valittavat perjantaina, sinä sanot "selvitämme asiaa", ja he ovat jo vaihtaneet kilpailijalle. Ero sen välillä, että "me huomasimme sen" ja "sinä ilmoitit siitä", muuttaa asiakkaan käsitystä.
Nopeus mahdollistaa kokeilut. Jos julkaiset muutoksen ja näet vaikutuksen tunneissa, voit iteroida nopeammin. Ilman poikkeamien tunnistusta ajat kokeilua viikon, tarkistat tulokset ja iteroit sitten. Sen kanssa näet, auttoiko vai haittasiko muutos, 24 tunnissa. Tämä nopeus kasautuu vuoden aikana.
Millaiset poikkeamat kannattaa oikeasti havaita?
Kaikkia poikkeamia ei kannata havaita. Jotkin vaihtelut ovat odotettuja. Mutta joillakin on merkitystä liiketoimintapäätöksille. Avainasia on ottaa poikkeamien tunnistus käyttöön mittareille, jotka vaativat välitöntä toimintaa, jos ne muuttuvat odottamatta.
Tuloihin vaikuttavat poikkeamat ovat ykkösprioriteetti. Konversioasteen lasku, keskimääräisen tilausarvon heikkeneminen ja kassan hylkäysten piikki vaikuttavat suoraan tuloihin. Hälytä kaikista niistä. Jos konversio laskee 10 prosenttia, haluat tietää heti, et viikonlopun jälkeen.
Käyttäjien sitoutumisen poikkeamilla on väliä, koska ne ennustavat ongelmia. Istunnon keston lyheneminen, ominaisuuksien käytön väheneminen ja kirjautumistiheyden lasku ovat varhaisia varoitusmerkkejä asiakaspoistumasta. Tämän viikon sitoutumisen lasku ennustaa ensi kuun pysyvyyden laskua. Huomaa se nyt, niin ehdit puuttua asiaan.
Liikenteen poikkeamilla on väliä, koska ne paljastavat ongelmia tavoittavuudessa tai asiakashankinnassa. Orgaanisen liikenteen kasvu tarkoittaa, että SEO toimii (hyvä). Orgaanisen liikenteen lasku tarkoittaa, että haussa meni jokin rikki (huono). Maksetun liikenteen väheneminen tarkoittaa, että mainoskampanjasi alisuoriutuvat (huono). Hälytä, kun liikennelähteet muuttuvat odottamatta.
Laatupoikkeamilla on väliä, koska ne ovat hiljaisia tappajia. Poistumisprosentin nousu tarkoittaa, että sivustosi on vähemmän relevantti. Sivuja per istunto -luvun lasku tarkoittaa, että käyttäjät löytävät tarvitsemansa nopeammin (hyvä) tai eivät löydä haluamaansa (huono). Istuntovirheiden piikki tarkoittaa, että sivusto hajoaa. Nämä ovat näkymättömiä, jos et seuraa tarkasti.
Miten poikkeamien tunnistus otetaan käyttöön ilman vääriä hälytyksiä?
Kysy miltä tahansa analytiikkatiimiltä vääristä hälytyksistä, niin kuulet saman valituksen: hälytysväsymys. Jos jokainen pieni vaihtelu laukaisee hälytyksen, tiimi lopettaa niiden lukemisen. He turtuvat. Todelliset ongelmat hukkuvat kohinaan. Hyvän poikkeamien tunnistuksen avain on asettaa kynnykset niin, että ne havaitsevat todelliset ongelmat mutta ohittavat luonnollisen vaihtelun.
Aloita liiketoimintasi kannalta tärkeimmistä mittareista. Kaikki mittarit eivät tarvitse poikkeamien tunnistusta. Keskity tulomittareihin (konversio, tilausarvo, asiakaspoistuma), käyttäjien terveysmittareihin (sitoutuminen, pysyvyys, ominaisuuksien käyttöönotto) ja järjestelmän terveysmittareihin (virheet, viive, käytettävyys). Nämä vaativat välitöntä toimintaa, jos ne muuttuvat.
Aseta herkkyys vaihtelun mukaan. Jotkin mittarit vaihtelevat luonnostaan paljon. Liikenne pomppii päivästä toiseen. Aseta poikkeamakynnykset niin leveiksi, että ne sietävät tämän luonnollisen vaihtelun. Konversioasteessa 20 prosentin poikkeama voi olla normaali, joten merkitse vasta, jos poikkeama on 30 prosenttia tai enemmän. Tuloissa 5 prosentin poikkeama voi olla normaali. Sitoutumisessa 15 prosentin poikkeama voi olla normaali. Kynnykset riippuvat historiallisesta datastasi.
Rakenna mukaan asiayhteys. Viikonpäivällä on väliä. Lauantaina kaavat ovat yleensä erilaiset kuin keskiviikkona. Pyhäpäivinä kaavat ovat erilaiset kuin tavallisina päivinä. Poikkeamien tunnistuksen pitäisi ottaa tämä huomioon. "Konversio alle 1,5 % sunnuntaina" voi olla normaalia. "Konversio alle 1,5 % keskiviikkona" on poikkeama. Hyvät järjestelmät oppivat nämä kaavat automaattisesti.
Aloita varovaisesti ja kiristä ajan myötä. Jos olet epävarma kynnyksistä, aseta ne leveiksi. On parempi missata joitakin poikkeamia kuin tulvia tiimi vääriä hälytyksiä täyteen. Kun luotat järjestelmään ja tiimi tottuu lukemaan hälytyksiä, kiristä kynnyksiä ja havaitse pienempiä poikkeamia.
Mitkä ovat poikkeamien tunnistuksen rajat?
Poikkeamien tunnistus löytää poikkeamat normaalista. Mutta "normaali" on se, minkä historiallinen datasi kertoo normaaliksi. Jos datasi on väärää tai vinoutunutta, järjestelmä missaa todellisia ongelmia tai merkitsee vääriä positiivisia. Jos sinulla oli kolme kuukautta virhe, joka paisutti konversioastettasi keinotekoisesti, järjestelmä oppi tuon paisutetun asteen "normaaliksi". Kun korjaat virheen, konversio putoaa todelliselle normaalitasolle, ja järjestelmä merkitsee sen poikkeamaksi.
Poikkeamien tunnistus ei selitä syy-seuraussuhdetta. Se kertoo, että jokin muuttui. Se ei kerro, miksi. Jos konversio laski, sinun täytyy silti tutkia asiaa. Onko kyse teknisestä ongelmasta? Markkinamuutoksesta? Kilpailijan siirrosta? Uuden tulokkaan kilpailusta? Poikkeamien tunnistus nostaa ongelman esiin. Diagnosointi on yhä ihmisen työtä.
Poikkeamien tunnistus ei toimi hyvin hyvin pienessä mittakaavassa. Jos kävijöitä on 100 päivässä, satunnaisvaihtelu on valtavaa. Jokainen päivä näyttää poikkeavalta muihin verrattuna. Poikkeamien tunnistus toimii parhaiten suuremmassa mittakaavassa, jossa kaavat ovat vakaita. SaaS-palvelulla, jolla on 50 000 kuukausittaista käyttäjää, on puhtaat ja vakaat kaavat. SaaS-palvelulla, jolla on 500 kuukausittaista käyttäjää, on liikaa kohinaa.
Vähittäiset muutokset voivat piiloutua poikkeamien tunnistukselta. Jos konversio laskee hitaasti (0,5 % viikossa), järjestelmä ei välttämättä merkitse sitä, koska jokainen viikko poikkeaa edellisestä vain vähän. Et ehkä huomaa sitä ennen kuin olet pudonnut yhteensä 10 prosenttia. Vähittäisen heikkenemisen havaitsemiseen tarvitset trendianalyysia hetkellisen poikkeamien tunnistuksen lisäksi.
Mitä eroa on poikkeamien tunnistuksella ja hälytyksillä?
Hälytykset ovat sääntöjä, jotka asetat käsin (konversio alle 2 %, tulot alle X). Poikkeamien tunnistus on automaattista perustason oppimista (kaikki, mikä poikkeaa 3 keskihajontaa normaalista). Hälytykset vaativat, että tiedät, mikä on normaalia ja milloin sillä on väliä. Poikkeamien tunnistus oppii normaalin datastasi. Poikkeamien tunnistus sopii paremmin odottamattomien ongelmien havaitsemiseen. Hälytykset sopivat paremmin tunnettujen kynnysten seurantaan.
Onko kaikissa analytiikka-alustoissa poikkeamien tunnistus?
Ei. Google Analyticsissa on joitakin perustason poikkeamailmoituksia. Tuoteanalytiikan alustoissa on poikkeamien tunnistus. BI-työkalut voi määrittää sitä varten. Kaikki alustat eivät kuitenkaan sisällä sitä. Ennen analytiikkatyökalun valintaa tarkista, onko poikkeamien tunnistus mukana, kuinka herkät kynnykset ovat ja voitko räätälöidä sitä.
Kuinka monta väärää hälytystä pitäisi odottaa?
Oikein asetettuna väärien hälytysten osuus pitäisi olla alle 5 prosenttia hälytyksistä. Suurin osa pitäisi olla aitoja poikkeamia, joita kannattaa tutkia. Jos saat yli 20 väärää hälytystä päivässä, kynnykset ovat liian herkät. Jos et saa yhtään hälytystä kuukaudessa, kynnykset ovat liian leveät. Säädä kynnyksiä seuraamalla, mitkä hälytykset johtivat todellisiin löytöihin ja mitkä olivat kohinaa.
Voiko poikkeamien tunnistus havaita petoksia?
Osittain. Jos petos aiheuttaa epätavallisia kaavoja (piikki hyvitysasteessa, maantieteellisiä poikkeamia, epätavallisia maksutapoja), poikkeamien tunnistus voi merkitä sen. Petostentorjunta vaatii kuitenkin erikoistuneita sääntöjä (sama maksukortti käytössä useita kertoja, nopeustarkistukset, sijaintiristiriidat). Käytä poikkeamien tunnistusta yleiseen kaavojen havaitsemiseen. Käytä petostentorjuntaa petoskohtaisiin kaavoihin.
Kuinka paljon historiallista dataa tarvitsen, ennen kuin poikkeamien tunnistus toimii?
Useimmat järjestelmät tarvitsevat 2-4 viikkoa perustason dataa kaavojen oppimisen aloittamiseen. Kuukausi on parempi. Kvartaalin datan jälkeen malli on melko tarkka. Vuoden jälkeen se on erittäin tarkka (ymmärtää kausivaihtelun). Jos otat poikkeamien tunnistuksen käyttöön aivan uudella sivustolla, odota korkeaa väärien hälytysten osuutta ensimmäisen kuukauden ajan, kun järjestelmä oppii perustasosi.
Pitäisikö minun reagoida jokaiseen poikkeamahälytykseen?
Ei välttämättä. Jotkin poikkeamat ovat odotettuja (iso PR-nosto, uusi kilpailija, kausivaikutus, suuri markkinointikampanja). Kun saat hälytyksen, kysy ensin: muuttuiko jokin ulkopuolinen asia? Jos kyllä, poikkeama on odotettu eikä ongelma. Jos ei, tutki asiaa. Ajan myötä opit, mitkä hälytykset ovat signaalia (todellisia ongelmia) ja mitkä kohinaa.