Tietovarasto on keskitetty tietokanta, johon kaikki datasi (analytiikka, CRM, mainokset, sähköposti, myynti) virtaa. Sen sijaan että yhdistäisit työkalut toisiinsa yksi kerrallaan, kaikki työkalut lähettävät datan varastoon. Varastosta tulee ainoa totuuden lähde. Raportointityökalut ja tiimit hakevat tiedot varastosta, eivät yksittäisistä työkaluista. Tämä poistaa siilot ja mahdollistaa monimutkaisen työkalujen välisen analyysin. Tässä luvussa käydään läpi, milloin ja miten tietovarasto rakennetaan.
Mikä tietovarasto on ja mitä se tekee
Tietovarasto koostuu: (1) keskitetystä tietokannasta (BigQuery tai muu pilvitietovarasto), (2) datavirroista, jotka siirtävät datan työkaluista varastoon, (3) skeemoista, jotka järjestävät datan yhtenäisesti ja (4) käyttökerroksesta, jossa analyytikot ja työkalut tekevät hakuja varastoon.
Hyödyt: yksi totuuden lähde, joustavat kyselyt (ei rajoitu työkalun valmiisiin raportteihin), historiadatan säilytys, kustannustehokkuus laajassa mittakaavassa (halvempaa kuin maksaa jokaiselle työkalulle tallennuksesta), edistyneen analytiikan mahdollisuus (koneoppiminen, ennusteet).
Tietovaraston arkkitehtuuri
Raakadatakerros: täsmällinen kopio lähdejärjestelmien datasta. Ei muunnoksia. Säilyttää alkuperäisen datan siltä varalta, että se pitää käsitellä uudelleen.
Välikerros: data puhdistetaan, kaksoiskappaleet poistetaan ja data validoidaan. Epäjohdonmukaisuudet korjataan. Data on yhtenäistä, mutta ei vielä valmista analyysiin.
Analytiikkakerros: data muunnetaan analyysiin suunnitelluiksi tauluiksi. Esimerkkejä: faktataulut (konversiot ja avaimet muihin ulottuvuuksiin) ja ulottuvuustaulut (asiakkaat, tuotteet, kampanjat). Tätä analyytikot kyselevät.
Tietovaraston käyttöönotto
Vaihe 1: valitse varastoalustasi.
BigQuery (Google): yksinkertainen, sopii useimmille yrityksille, maksat haettujen gigatavujen mukaan.
Toinen pilvitietovarasto: tehokas, kallis, sopii suurille yrityksille, joilla on monimutkaisia tarpeita.
Kolmas pilvitietovarasto: tehokas, suuressa mittakaavassa edullisempi kuin edellinen.
Avoimen lähdekoodin tietokanta: ilmainen, sopii pienille ja keskisuurille datamäärille.
Vaihe 2: poimi data työkaluistasi.
Käytä ETL-työkaluja (Extract-Transform-Load, eli poiminta, muunnos ja lataus). Nämä työkalut yhdistyvät lähdejärjestelmiisi ja kopioivat datan varastoon automaattisesti (päivittäin, tunneittain tai reaaliajassa).
Vaihe 3: suunnittele skeemasi.
Määritä taulut ja niiden suhteet: asiakastaulu, tilaustaulu, tilausrivien taulu ja kampanjataulu. Miten ne liittyvät toisiinsa? Tämä suunnittelu ratkaisee, mihin kysymyksiin voit vastata tehokkaasti.
Vaihe 4: määritä käyttöoikeudet ja hallinta.
Kuka saa kysellä varastoa? Onko heillä pääsy kaikkeen dataan vai vain oman osastonsa dataan? Aseta käyttöoikeudet. Dokumentoi skeema, jotta analyytikot tietävät, mitä data tarkoittaa. Seuraa kyselyjä suorituskyvyn varmistamiseksi.
Milloin tietovarasto kannattaa rakentaa
Liian aikaisin: 1-2 työkalua, 3 hengen tiimi. Ylläpidon kuorma on liian suuri.
Oikea aika: 5+ työkalua, 5+ hengen tiimi ja monimutkaisia usean työkalun kysymyksiä säännöllisesti. Varaston kustannus perustellaan säästetyllä ajalla ja saaduilla oivalluksilla.
Välttämätön: 10+ työkalua, 10+ hengen tiimi ja dataohjattu kulttuuri. Varasto on välttämätöntä infrastruktuuria.
Tietovaraston käyttöönoton haasteet
Monimutkaisuus: tietovarastot ovat teknisesti monimutkaisia. Ylläpito vaatii data-insinöörejä. Pienille yrityksille rekrytointi on haaste.
Datan laatu: roskaa sisään, roskaa ulos. Huono data varastossa = huonot oivallukset. Datan validointi ja puhdistus ovat kriittisiä.
Kustannus: voi olla kallis (BigQuery voi maksaa 100-1 000+ $ kuukaudessa laajassa mittakaavassa). Kustannusten hallinta vaatii optimointia ja hallintamalleja.
Pitäisikö minun rakentaa tietovarasto vai käyttää BI-työkalun valmiita integraatioita?
BI-työkalun integraatiot: yksinkertaisia, nopeita ottaa käyttöön (tunteja), rajallinen räätälöitävyys. Tietovarasto: enemmän työtä käyttöönotossa (viikkoja tai kuukausia), erittäin joustava ja skaalautuva. 3-4 työkalulle BI-integraatiot riittävät. 5+ työkalulle tai monimutkaisille analyyseille tietovarasto kannattaa. Aloita integraatioilla ja siirry tietovarastoon, kun ne eivät enää riitä.
Paljonko tietovarasto maksaa?
BigQuery: 6,25 $ per haettu teratavu (arvio). Muut pilvitietovarastot: noin 2-4 $ per käytetty laskentayksikkö (riippuu varaston koosta) tai 1-4 $ tunnissa. Kustannukset vaihtelevat datamäärän ja kyselyjen monimutkaisuuden mukaan. Useimmille yrityksille: 500-2 000 $ kuukaudessa laajassa mittakaavassa. Pienemmille yrityksille: 50-500 $ kuukaudessa. Varaa budjettia data-insinöörin työlle (kallein osa).
Mikä ero on tietovarastolla ja datajärvellä?
Tietovarasto: rakenteistettu, puhdistettu, optimoitu kyselyihin. Datajärvi: rakenteistamaton, raaka, tallentaa kaiken (halvempi). Tietovarastot ovat analytiikkaa varten. Datajärvet ovat raakadatan tallennukseen. Moderni tapa: järvi + varasto (raakadata järveen, puhdistettu data varastoon). Aloita varastolla ja siirry järveen, jos tallennuskustannukset kasvavat rajusti.
Miten varmistan datan laadun tietovarastossani?
Validointisäännöt: tarkista kaksoiskappaleet, tyhjät arvot ja sallitun alueen ulkopuoliset arvot. Testaa datavirrat: vastaako virtaava data odotettuja summia? Auditoi säännöllisesti: vertaa varaston summia lähdejärjestelmien summiin. Korjaa poikkeamat. Dokumentoi anomaliat. Anna datan laadun vastuu yhdelle henkilölle tai tiimille.
Voinko kysellä tietovarastoa ad hoc -kysymyksiin ilman, että olen data-insinööri?
Kyllä, jos skeema on hyvin suunniteltu ja dokumentoitu. Kirjoita SQL-kyselyjä kysymysten ratkaisemiseksi. Teknisesti vähemmän perehtyneille: käytä BI-työkaluja valmiisiin kojelautoihin. Vaativampiin ad hoc -kysymyksiin: data-insinöörit tai analytiikkainsinöörit kirjoittavat SQL:n. Palkkaa analytiikkainsinööri (silta data-insinöörityön ja analyysin välillä), jotta pääsy datan äärelle laajenee.
Kuinka usein datan pitäisi päivittyä tietovarastossani?
Päivittäin on vakio (ajetaan yön yli). Reaaliaikainen on mahdollista, mutta kallista. Useimpaan analytiikkaan päivittäinen riittää. Operatiivisiin kojelautoihin (myyntiputki) voidaan tarvita tunneittainen tai reaaliaikainen päivitys. Aloita päivittäisestä ja siirry tunneittaiseen vasta, jos liiketoiminta sitä tarvitsee ja siihen on varaa.