Tietovarastointikoulutus Mitä asiantuntija tarvitsee tulevaisuudessa? Tapani Lahti Sovelto Oyj

DW-koulutuksen kaksi osa-aluetta ►Tietovarastoinnissa käytettävien tekniikoiden hallinta ►Tietovarastoinnissa käytettävien laitteistojen ja ohjelmistojen hallinta 2

3 Tietovaraston suunnittelu ja toteutus ►Tietovarastojen toteutuksessa on monia eri koulukuntia, joiden näkemykset oikeaoppisesta tietovarastosta eroavat toisistaan ►Dimensiomalli vs. normalisointi ►Top-down vs. bottom-up ►Tietovaraston tietomallista riippumatta analysointi perustuu pääosin dimensiomallin mukaiseen näkymään dataan

4 Datan lataus (ETL-prosessi) ►Extract ►Transform ►Load ►Suurten datamäärien käsittelyssä ETL-työkalulla ratkaisevan tärkeä rooli ►Eri tietolähteistä tulevan datan rakenteen yhtenäistäminen vaatii paljon käsityötä ►Schemamuutosten hallinta

ETL-työkalut, esimerkki (SSIS) 5

6 Datan ylläpito ja laadunvarmistus ►Tietovarastoon tuleva data on yleensä huonolaatuista ►Suurin osa ajasta tietovaraston ylläpidossa kuluu data siivoamiseen ja yhtenäistämiseen ►Tietovarastoon tulevaa dataa voi yhtenäistää jo alkulähteillä ►Ydintiedon hallinta (Master Data Management) ►Datan laadunvarmistukseen voidaan käyttää profilointityökaluja

Datan profilointi, esimerkki 7

8 Tietovaraston suorituskyvyn optimointi ►Tietovarastossa on tyypillisesti yksityiskohtaista dataa pitkältä aikaväliltä ►Datavolyymit kasvavat huomattavan suuriksi, suurimmat nykyään jo petatavujen luokassa ►Tallennustilan kapasiteetti ja suorituskyky vaativat suunnittelua ►Tietokannat alkavat eriytyä teknisesti: operatiiviset vs. analyysitietokannat ►Pilvipalvelujen mahdollisuudet ja uhkat (United Spies of America)

Suorituskyvyn seuranta, esimerkki 9

10 Datan analysointi (OLAP) ►Datan analysoinnin perusmalli on hyperkuutio, jossa on joukko ortogonaalisia dimensioita ►Dimensiot tyypillisesti hierarkkisia ►OLAP-työkalut mahdollistavat datan monipuolisen analysoinnin "kysy-mitä-vain"-periaatteella ►OLAP-työkalut optimoivat toimintaansa käyttäjän valintojen perusteella ►OLAP ei ole kuitenkaan massojen työkalu vaan edistyneiden analyytikoiden apuväline (alle 10% käyttäjistä)

OLAP-esimerkki (Excel PowerPivot) 11

12 Raportointi ►90% käyttäjistä tyytyy raportteihin ►Raportti on ennaltamääritelty näkymä hyperkuution dataan ►Raportoinnissa on haasteena löytää optimaalinen taso: oikea tieto oikeaan aikaan oikealle henkilölle ►Numeerisen datan rinnalla tarjolla runsaasti 2d-, 3d- ja 4d-visualisoinnin mahdollisuuksia ►Paperiraportit vs. interaktiiviset selainraportit

13 Tiedon louhinta ►Tiedon louhinta (Data Mining) tarjoaa tilastollisia tekniikoita tietovaraston datan analysointiin ►Rutiinikäytössä suurissa yrityksissä, läpimurtoa laajamittaiseen käyttöön PK-yrityksissä ei ole tapahtunut ►Vaatii syvällistä matemaattisten ja tilastollisten menetelmien hallintaa

Tietokantatekniikat kehittyvät ►Relaatiokannat ja SQL (1980-luvulta) ►NoSQL (2010-luku) ►SQL-rajapinta on tullut ja tulossa yhä useampiin NoSQL-tuotteisiin, tarjoaa yhteydet työkalujen välille ►NewSQL (2010-luku): relaatiotietokantoja uudella tekniikalla 14

Must know ►Relaatiomalli ►Dimensiomalli ►SQL-kieli ►Käytettävien tuotteiden ominaisuudet 15

Should know ►DW-koulukuntien erot ►OLAP perusteet ►ETL perusteet ►Raportointi perusteet ►Master Data Management perusteet ►Virtualisointi ja pilvipalvelut 16

Sovelto DW-koulutustarjontaa TEORIAA JA TEKNIIKOITA ►Tietovaraston suunnittelu ja laadunvalvonta (3pv) ►SQL-kielen peruskurssi (2pv) ►SQL-kielen jatkokurssi (2pv) TUOTEKOHTAISIA (MS SQL Server) ►SQL Server Analysis Services (3pv) ►SQL Server Reporting Services (3pv) ►SQL Server Integration Services (2pv) ►10777: Implementing a Data Warehouse with Microsoft SQL Server 2012 (4pv) 17