CSC:n tietovarastopalveluiden arkkitehtuuri

Esitys aiheesta: "CSC:n tietovarastopalveluiden arkkitehtuuri"— Esityksen transkriptio:

1 CSC:n tietovarastopalveluiden arkkitehtuuri
Tietovarastofoorumi Olli-Pekka Kotilainen, CSC

2 Mistä arkkitehtuurisuunnittelu käynnistyi 2012
Yliopistojen ja ammattikorkeakoulujen suoratiedonkeruun 2010 tiedonkeruutiedostot tarkistettiin, virheet raportoitiin tietovastaaville ja tarkistettu tieto ladattiin tietokantaan Tarkistetusta tiedosta tehtiin SQL- näkymiä, joiden sisältöä tarkasteltiin Excelillä Excel- raportit julkaistiin Sharepointissa Excel Services raportteina

3 Mistä arkkitehtuurisuunnittelu käynnistyi 2012
Tilastokeskuksen aineistot (n.100 kpl) sovittiin liitettäväksi Vipunen - portaaliin Lähtötilanteen ratkaisu ei sovellu kehittyneeseen analyysiin ja raporttien tuottamiseen, aineistojen koon ja määrän lisääntyessä Päätettiin perustaa nopeiden tarpeiden täyttämiseksi jo hankittuja Microsoftin BI- välineitä hyödyntäen kaksi itsenäistä tietolähteisiin (tilastokeskus, korkeakoulut) perustuvaa paikallisvarastoa ja käynnistää CSC:n tietovarastopalveluiden arkkitehtuurisuunnittelu Tietointegraatio toteutetaan myöhemmin

4 CSC:n arkkitehtuurityön tavoitteita
Tarjota yhtenäinen pohja ja toteutuskehys opetushallinnon alan tietovarastointiprojektien laadukkaalle ja tehokkaalle toteutukselle Yhtenäistää ja parantaa ylläpidettävyyttä, hallittavuutta ja vähentää henkilöriippuvuutta Parantaa viestintää ja kommunikointia Ohjata, ohjeistaa ja tuottaa tietovaraston kehittäjille (ml. alihankkijat) dokumentaatio miten opetushallinnon alan tietovarastointiratkaisut tuotetaan CSC:n ympäristöön Tarkoitus on siis ohjata tietovarastointiratkaisujen suunnittelua, toteutusta, ylläpitoa ja käyttöä Mitä toimituksen tulee pitää sisällään ja minkälaisia periaatteita ja käytäntöjä toteutuksen on noudatettava Toteutustyön valvonta

5 Arkkitehtuurikehityksen käytännön haasteita
Tarvitaan julkaisukelpoisia raportteja jo toimitetuista aineistoista mahdollisimman nopeasti Tietomäärä on suuri ja yhteismitallisuuden toteutus hajautetussa ympäristössä vaatii työtä ja OKM:n hyväksynnän Tekninen toteutus ei aina jousta nopeasti asiakaan tarpeisiin. OKM:n tavoitteet liittyvät tiedonsisällön analysointiin ja kysymykset joustavien raporttien tuottamiseen, CSC joutuu pohtimaan ratkaisuja myös kokonaisuuden arkkitehtuurin ja teknisten rajoitusten näkökulmasta Nopean konsensuksen saaminen isossa asiakasryhmässä aina haasteellista, kun eri tyyppisiä raportointitarpeita kertynyt paljon

6 Arkkitehtuurikehityksen käytännön haasteita
Tekijöiden määrä lisääntyy (+alihankkijat) ja aikataulut lähestyvät ennen kuin yhteiset käytännöt sovittu riittävän tarkalle tasolle Microsoftin välineet tekijöille vielä uusia, välineisiin ollaan oltu tyytyväisiä Tietovarastointi, ohjelmistoprojektit ja tekniikka uusia CSC:lle ja OKM:n yhteyshenkilöille, tarvitaan siis enemmän tiedotusta ja ohjeita

7 Arkkitehtuurin kehitys, mitä ollaan tehty 2012?
Nyky- ja tavoitetilan kuvaus Suunnittelu- ja toteutusperiaatteet tavoitetilassa Esim: Arkkitehtuurityylinä käytetään tietovaraston väyläarkkitehtuuria (bus architecture) yhtenäistetyillä (Conformed) dimensioilla Tietovarastoinnin yhteydessä havaitut tietovirheet pyritään korjaamaan lähdejärjestelmiin asti Arkkitehtuuri, kuutiototeutus, tietokanta-arkkitehtuuri ja tietokannan hallinta- ja mallinnuskäytännöt mahdollistavat skaalautuvuuden siten, että loppukäyttäjän vasteaika säilyy vaatimusten mukaisena tieto- ja käyttäjämäärän kasvaessa Arkkitehtuuri mahdollistaa tehokkaasti loppukäyttäjien raporttien tuottamisen suomen- ruotsin- ja englannin kielellä Siirtymävaiheen tehtäväkokonaisuuksien priorisointi

8 Arkkitehtuurin kehitys, mitä ollaan tehty 2012?
Raportoinnin kehitys (konsulttivetoisesti) Report Builder 3.0 –käyttöohje (OKM hyväksyi että laitetaan jakoon muillekin) Raportointikoulutuksia ja dokumentaatiota Raportointikäytäntöjen ja – prosessin kehitys Confluencen arkkitehtuurisivujen kehitys aloitettu

9 Arkkitehtuurin kehitys mitä seuraavaksi?
Kokonaisuudet loppuvuonna 2012 Käyttäjähallinnan kuvaus Yhteinen tuotantoprosessi Ns. Läpileikkaava dokumentaatio Seuraavat suunnittelukokonaisuudet ( ) Yhtenäiset (conformed) dimensiotaulut paikallisvarastoissa Tietojen jako aihealuekohtaisiin (esim. koulutusaste tai XDW:n kokonaisuus) paikallisvarastoihin tietolähteestä riippumattomaksi ETL – SSIS periaatteet Kuutiokehityksen periaatteet

10 Nyky- ja tavoitetila. Korkeakoulut, EDW, paikallisvarastot ja raportointi

11 Kiitos!