CSC:n tietovarastopalveluiden arkkitehtuuri Tietovarastofoorumi 10.8.2012 Olli-Pekka Kotilainen, CSC

Mistä arkkitehtuurisuunnittelu käynnistyi 2012 Yliopistojen ja ammattikorkeakoulujen suoratiedonkeruun 2010 tiedonkeruutiedostot tarkistettiin, virheet raportoitiin tietovastaaville ja tarkistettu tieto ladattiin tietokantaan Tarkistetusta tiedosta tehtiin SQL- näkymiä, joiden sisältöä tarkasteltiin Excelillä Excel- raportit julkaistiin Sharepointissa Excel Services raportteina

Mistä arkkitehtuurisuunnittelu käynnistyi 2012 Tilastokeskuksen aineistot (n.100 kpl) sovittiin liitettäväksi Vipunen - portaaliin Lähtötilanteen ratkaisu ei sovellu kehittyneeseen analyysiin ja raporttien tuottamiseen, aineistojen koon ja määrän lisääntyessä Päätettiin perustaa nopeiden tarpeiden täyttämiseksi jo hankittuja Microsoftin BI- välineitä hyödyntäen kaksi itsenäistä tietolähteisiin (tilastokeskus, korkeakoulut) perustuvaa paikallisvarastoa ja käynnistää CSC:n tietovarastopalveluiden arkkitehtuurisuunnittelu Tietointegraatio toteutetaan myöhemmin

CSC:n arkkitehtuurityön tavoitteita Tarjota yhtenäinen pohja ja toteutuskehys opetushallinnon alan tietovarastointiprojektien laadukkaalle ja tehokkaalle toteutukselle Yhtenäistää ja parantaa ylläpidettävyyttä, hallittavuutta ja vähentää henkilöriippuvuutta Parantaa viestintää ja kommunikointia Ohjata, ohjeistaa ja tuottaa tietovaraston kehittäjille (ml. alihankkijat) dokumentaatio miten opetushallinnon alan tietovarastointiratkaisut tuotetaan CSC:n ympäristöön Tarkoitus on siis ohjata tietovarastointiratkaisujen suunnittelua, toteutusta, ylläpitoa ja käyttöä Mitä toimituksen tulee pitää sisällään ja minkälaisia periaatteita ja käytäntöjä toteutuksen on noudatettava Toteutustyön valvonta

Arkkitehtuurikehityksen käytännön haasteita Tarvitaan julkaisukelpoisia raportteja jo toimitetuista aineistoista mahdollisimman nopeasti Tietomäärä on suuri ja yhteismitallisuuden toteutus hajautetussa ympäristössä vaatii työtä ja OKM:n hyväksynnän Tekninen toteutus ei aina jousta nopeasti asiakaan tarpeisiin. OKM:n tavoitteet liittyvät tiedonsisällön analysointiin ja kysymykset joustavien raporttien tuottamiseen, CSC joutuu pohtimaan ratkaisuja myös kokonaisuuden arkkitehtuurin ja teknisten rajoitusten näkökulmasta Nopean konsensuksen saaminen isossa asiakasryhmässä aina haasteellista, kun eri tyyppisiä raportointitarpeita kertynyt paljon

Arkkitehtuurikehityksen käytännön haasteita Tekijöiden määrä lisääntyy (+alihankkijat) ja aikataulut lähestyvät ennen kuin yhteiset käytännöt sovittu riittävän tarkalle tasolle Microsoftin välineet tekijöille vielä uusia, välineisiin ollaan oltu tyytyväisiä Tietovarastointi, ohjelmistoprojektit ja tekniikka uusia CSC:lle ja OKM:n yhteyshenkilöille, tarvitaan siis enemmän tiedotusta ja ohjeita

Arkkitehtuurin kehitys, mitä ollaan tehty 2012? Nyky- ja tavoitetilan kuvaus https://confluence.csc.fi/pages/viewpage.action?pageId=11340062 Suunnittelu- ja toteutusperiaatteet tavoitetilassa https://confluence.csc.fi/pages/viewpage.action?pageId=11340062 Esim: Arkkitehtuurityylinä käytetään tietovaraston väyläarkkitehtuuria (bus architecture) yhtenäistetyillä (Conformed) dimensioilla Tietovarastoinnin yhteydessä havaitut tietovirheet pyritään korjaamaan lähdejärjestelmiin asti Arkkitehtuuri, kuutiototeutus, tietokanta-arkkitehtuuri ja tietokannan hallinta- ja mallinnuskäytännöt mahdollistavat skaalautuvuuden siten, että loppukäyttäjän vasteaika säilyy vaatimusten mukaisena tieto- ja käyttäjämäärän kasvaessa Arkkitehtuuri mahdollistaa tehokkaasti loppukäyttäjien raporttien tuottamisen suomen- ruotsin- ja englannin kielellä Siirtymävaiheen tehtäväkokonaisuuksien priorisointi

Arkkitehtuurin kehitys, mitä ollaan tehty 2012? Raportoinnin kehitys (konsulttivetoisesti) Report Builder 3.0 –käyttöohje (OKM hyväksyi että laitetaan jakoon muillekin) Raportointikoulutuksia ja dokumentaatiota Raportointikäytäntöjen ja – prosessin kehitys Confluencen arkkitehtuurisivujen kehitys aloitettu

Arkkitehtuurin kehitys mitä seuraavaksi? Kokonaisuudet loppuvuonna 2012 Käyttäjähallinnan kuvaus Yhteinen tuotantoprosessi Ns. Läpileikkaava dokumentaatio Seuraavat suunnittelukokonaisuudet (2013-2014) Yhtenäiset (conformed) dimensiotaulut paikallisvarastoissa Tietojen jako aihealuekohtaisiin (esim. koulutusaste tai XDW:n kokonaisuus) paikallisvarastoihin tietolähteestä riippumattomaksi ETL – SSIS periaatteet Kuutiokehityksen periaatteet

Nyky- ja tavoitetila. Korkeakoulut, EDW, paikallisvarastot ja raportointi

Kiitos!