Tuotepäällikkö julkaisee ominaisuuden. Ominaisuuden pitäisi ratkaista asiakkaan ongelma ja vahvistaa pysyvyyttä.
Kaksi viikkoa lanseerauksen jälkeen: vähentääkö ominaisuus poistumaa? Käyttääkö ominaisuutta useampi asiakas? Viettävätkö asiakkaat ominaisuudessa enemmän aikaa?
Ilman tuotekojelautaa tuotepäällikkö odottaa kuusi viikkoa kuukausiraporttia nähdäkseen ominaisuuden vaikutuksen. Siihen mennessä asiakaspalaute on viilentynyt. Iterointi ei ole mahdollista.
Tuotekojelaudan kanssa tuotepäällikkö näkee kahden viikon jälkeen: ominaisuuden käyttöönotto on viisi prosenttia (tavoite oli 20 prosenttia toisella viikolla). Ongelma näkyy heti. Tuotepäällikkö selvittää asiaa. Huomaa, että ominaisuutta on vaikea löytää. Lisää perehdytysviestin. Käyttöönotto nousee 15 prosenttiin neljänteen viikkoon mennessä.
Tuotekojelaudat: ominaisuuden käyttöönotto ja sitoutuminen
Ominaisuuden käyttöönottoaste
Ominaisuus lanseerattiin kaksi viikkoa sitten. Oikeutetut käyttäjät: 10 000. Ominaisuutta käyttäneet käyttäjät: 500. Käyttöönottoaste: viisi prosenttia. Tavoite oli 20 prosenttia neljänteen viikkoon mennessä. Tällä hetkellä jäljessä. Selvitys tarpeen.
Ominaisuuden sitoutuminen
500 käyttäjästä, jotka kokeilivat ominaisuutta, kuinka moni käyttää sitä päivittäin? 200. Kuinka moni viikoittain? 300. Kuinka moni on hylännyt ominaisuuden? 200. Sitoutumisaste: 40 prosenttia päivittäin, 60 prosenttia viikoittain, 40 prosenttia hylännyt. Hylkääminen on liian korkea. Ominaisuus ei ole tarttuva.
Ominaisuudessa vietetty aika
Istunnon keskimääräinen kesto ominaisuudessa on kaksi minuuttia. Ennen ominaisuutta istunnon keskimääräinen kesto sivustolla oli kymmenen minuuttia. Ominaisuus vetää käyttäjiä pois muista ominaisuuksista. Onko tämä tarkoituksellista? Korvasiko ominaisuus vanhemman ominaisuuden vai onko se lisäys?
Vaikutus pysyvyyteen
Asiakkaat, jotka ottivat ominaisuuden käyttöön: kahdeksan prosentin kuukausipoistuma. Asiakkaat, jotka eivät ottaneet ominaisuutta käyttöön: 12 prosentin kuukausipoistuma. Ominaisuus toimii. Poistuma paranee neljä prosenttiyksikköä. Tuhannen asiakkaan pohjalla se on 40 asiakasta vähemmän kuukaudessa. 40 kertaa 50 (asiakkaan keskimääräinen arvo) on 2 000 säästettyä liikevaihtoa kuukaudessa.
Operaatiokojelaudat: järjestelmän terveys ja suorituskyky
Järjestelmän käyttöaika
Verkkosivusto oli käynnissä 99,95 prosenttia ajasta viime viikolla. Tavoite on 99,99 prosenttia. Olemme tavoitteen alapuolella. Kaksi katkosta: yksi kymmenen minuuttia, yksi 15 minuuttia. Yhteensä 25 minuuttia käyttökatkoa. Mikä aiheutti katkot? Voiko ne estää?
Vasteaika
API:n keskimääräinen vasteaika on 200 millisekuntia. P95-vasteaika on 500 millisekuntia (95 prosenttia pyynnöistä on nopeampia, viisi prosenttia hitaampia). P99 on yksi sekunti. Hitaita vasteaikoja esiintyy satunnaisesti. Ovatko ne hyväksyttäviä?
Virheprosentti
Yksi prosentti API-pyynnöistä palautti virheen. Viime viikolla se oli 0,5 prosenttia. Virheprosentti kaksinkertaistui. Mikä muuttui? Tietokantakysely on hitaampi. Vasteajat pidentyivät. Asiakkaille tulee aikakatkaisuja ja he yrittävät uudelleen. Selvitys tarpeen.
Tietokannan yhteyspooli
Poolissa on 100 yhteyttä. Tällä hetkellä 100 on auki (täysin käytössä). Lisää yhteyksiä ei ole saatavilla. Jos tulee yksi pyyntö lisää, se jää jonoon. Käyttäjä joutuu odottamaan. Pooli on täynnä. Poolia pitää kasvattaa tai käyttöä vähentää.
Välimuistin osumaprosentti
Välimuisti osuu 50 prosenttia ajasta. 50 prosenttia liikenteestä ei tarvitse tietokantakyselyä. 50 prosentin välimuistin ohitusprosentti on useimmille sivustoille hyväksyttävä. Alle 40 prosentin osumaprosentilla tietokanta on ylikuormitettu. Yli 70 prosentin osumaprosentilla välimuistia käytetään liikaa.
Todellinen esimerkki: SaaS-yrityksen tuote- ja operaatiokojelauta
Tuotemittarit
Uusi kojelautaominaisuus: lanseerattu kuukautena yksi. Oikeutetut käyttäjät: 5 000 (asiakkaat, joilla on yli kymmenen datapistettä). Kojelaudan luoneet käyttäjät: 1 000. Käyttöönottoaste: 20 prosenttia. Tavoitteessa.
Tuhannesta kojelaudan luoneesta: Päivittäin aktiivisia: 600. Hyvä sitoutuminen. Viikoittain aktiivisia: 900. Useimmat käyttävät sitä vähintään viikoittain. Hylännyt: 100. Kymmenen prosentin poistuma.
Vaikutus pysyvyyteen: asiakkailla, joilla on aktiivisia kojelautoja, on kahden prosentin kuukausipoistuma. Asiakkailla ilman kojelautoja on neljän prosentin kuukausipoistuma. Kojelauta säästää poistumassa kaksi prosenttiyksikköä. Tuhannen asiakkaan pohjalla se on 20 asiakasta. Sadan dollarin kuukausiarvolla asiakasta kohden se on 2 000 säästettyä liikevaihtoa kuukaudessa. 24 000 vuodessa.
Operaatiomittarit
Käyttöaika viime kuussa: 99,92 prosenttia. Tavoite: 99,95 prosenttia. Jäimme tavoitteesta.
Katkot: Yksi tapaus: kymmenen minuuttia, maksujen käsittely alhaalla. Syy: tietokannan vikasiirto kesti liian kauan. Yksi tapaus: 15 minuuttia, API:n aikakatkaisupiikki. Syy: liikennepiikki ja hidas tietokantakysely.
Vasteaika: Keskiarvo: 150 millisekuntia. Hyvä. P95: 300 millisekuntia. Hyväksyttävä. P99: yksi sekunti. Tämä on liian korkea. Yksi prosentti asiakkaista kokee yhden sekunnin odotuksen. Vaatii optimointia.
Virheprosentti: 0,8 prosenttia. Kaksi viikkoa sitten 0,4 prosenttia. Selvitys osoittaa: maksujen käsittelyn virheet kasvoivat, koska maksupalveluntarjoajalla oli katko viime viikolla (ei meidän vikamme), API-virheet kasvoivat, koska julkaisimme koodimuutoksen, joka rikkoi yhden rajapintapisteen (meidän vikamme).
Tietokanta: Kyselyn keskimääräinen aika: 30 millisekuntia. Yhteyspoolin käyttöaste: 80 prosenttia. Terve. Hitaiden kyselyjen osuus: 0,2 prosenttia. Hyväksyttävä.
Välimuistin osumaprosentti: 65 prosenttia. Terve.
Tuote- ja operaatiokojelautojen yhdistäminen
Ominaisuuden käyttöönotto riippuu järjestelmän suorituskyvystä. Jos järjestelmä on hidas, ominaisuuden käyttöönotto kärsii. Uuden kojelautaominaisuuden käyttöönotto on matala. Tarkista operaatiokojelauta. P99-vasteaika on yksi sekunti. Käyttäjät kokevat viivettä kojelautaa avatessaan. Lisää selvitykseen: aiheuttaako hidas suorituskyky matalan käyttöönoton? Jos kyllä, optimoi ensin järjestelmän suorituskyky. Mittaa sen jälkeen käyttöönotto uudelleen.
Järjestelmän suorituskykyä mitataan käyttöajan eikä ominaisuuden vaikutuksen kannalta. Ominaisuuden vaikutus kuitenkin riippuu käyttöajasta. Yhdistä kojelaudat toisiinsa. Kun operaatiomittarit heikkenevät, myös tuotemittarit heikkenevät.
Usein kysytyt kysymykset
Kuinka usein tuotepäällikön pitäisi tarkistaa ominaisuuden käyttöönotto?
Ensimmäinen viikko: päivittäin. Ominaisuus on juuri lanseerattu, käyttöönottokäyrä on jyrkimmillään. Ongelmat pitää havaita aikaisin. Viikot kaksi - neljä: kolme kertaa viikossa. Käyttöönottokäyrä tasoittuu. Viikoittaiset päivitykset riittävät. Ensimmäisen kuukauden jälkeen: viikoittain. Käyttöönotto on tasaantunut tai kasvaa tasaisesti. Viikoittainen tarkistus riittää. Poikkeus: jos ominaisuus on kriittinen tai jos varhainen käyttöönotto on tavoitteen alapuolella, päivittäinen seuranta jatkuu, kunnes ongelma on ratkaistu. WEMASY-sivustonrakentajalla voit ottaa tämän käyttöön suoraan verkkosivustollasi.
Mikä on hyväksyttävä ominaisuuden käyttöönottoaste viikoittain?
Viikko yksi: 5 - 15 prosenttia (ihmiset kokeilevat). Viikko kaksi: 10 - 30 prosenttia (suusanallinen leviää). Ensimmäinen kuukausi: 20 - 50 prosenttia (vakiintunut aste). Eri ominaisuuksilla se on erilainen. Peliominaisuudet voivat saavuttaa 90 prosentin käyttöönoton. Säännösten noudattamiseen liittyvät ominaisuudet voivat saavuttaa vain kymmenen prosenttia. Tavoitteen pitäisi perustua käyttäjäsegmenttiin ja ominaisuuden tärkeyteen, ei yleiseen vertailuarvoon. Päätä ennen lanseerausta: onko ominaisuus kaikille vai vain segmentille? Se määrittää tavoitteen.
Miten erotamme käyttöönoton ja sitoutumisen toisistaan?
Käyttöönotto on ominaisuuden kokeilua (käyttivätkö he sitä vähintään kerran). Sitoutuminen on toistuvaa käyttöä (päivittäin, viikoittain, kuukausittain). Ominaisuudella voi olla korkea käyttöönotto ja matala sitoutuminen (kaikki kokeilivat, harvat jäivät). Ominaisuudella voi olla matala käyttöönotto ja korkea sitoutuminen (harvat kokeilivat, mutta ne, jotka kokeilivat, rakastivat sitä). Molemmat mittarit ovat tärkeitä. Korkea käyttöönotto ja korkea sitoutuminen on menestys. Matala sitoutuminen tarkoittaa, ettei ominaisuus ratkaise todellista ongelmaa. Matala käyttöönotto tarkoittaa löydettävyysongelmaa.
Pitäisikö tuotekojelaudalla olla asiakaspalautetta vai vain mittareita?
Molempia. Mittarit kertovat, mitä asiakkaat tekevät. Palaute kertoo, miksi. 500 käyttäjää hylkäsi ominaisuuden (mittari). Palaute sanoo "ominaisuutta on vaikea löytää" tai "ominaisuus ei ratkaise ongelmaani" (miksi). Mittarit ilman palautetta ovat vajaita. Lisää palauteosio, joka näyttää kolme tärkeintä poistuman tai hylkäämisen syytä tukipyyntöjen ja kyselyjen perusteella. Toteutus: lisää ominaisuuteen kommenttikenttä. Viikoittain: lue 20 suosituinta käyttäjäkommenttia ja luokittele ne teemoihin. Raportoi teemat kojelaudalla.
Miten asetamme tavoitteet käyttöajalle ja vasteajalle?
Perusta tavoitteet asiakasvaikutukseen ja alan standardeihin. Verkkokaupan kassalle: käyttöaika 99,9 prosenttia, vasteaika alle kaksi sekuntia. Markkinointisivustolle: käyttöaika 99 prosenttia, vasteaika alle kolme sekuntia. Sisäisille työkaluille: käyttöaika 95 prosenttia, vasteaika alle viisi sekuntia. Mitä kriittisempi palvelu, sitä tiukempi tavoite. Tavoitetta asettaessasi tiedä, minkä tason investointia se vaatii. 99,99 prosentin käyttöaika (neljä ysiä) maksaa kolme - neljä kertaa enemmän kuin 99 prosentin käyttöaika (kaksi ysiä). Varmista, että tavoite on kustannuksen arvoinen.
Pitäisikö operaatiokojelaudan lähettää hälytyksiä vai vain näyttää tila?
Molempia. Kojelauta näyttää nykytilan. Hälytykset laukeavat, kun kynnysarvot ylittyvät. Jos virheprosentti nousee yli yhden prosentin viiden minuutin ajaksi, hälytys laukeaa. Hälytys menee päivystävälle insinöörille, joka selvittää asian. Kojelauta on seurantaan normaalina työaikana. Hälytys on työajan ulkopuolelle tai kriittisiin tilanteisiin. Kumpikaan yksin ei riitä. Kojelauta ilman hälytyksiä tarkoittaa, että ongelmat huomataan työaikana. Hälytys ilman kojelautaa tarkoittaa, että tiimi on sokea hitaalle heikkenemiselle, kunnes hälytys laukeaa. Käytä molempia yhdessä.