Korkeakoulujen ja opetus- ja kulttuuriministeriön yhteinen tietohallintohanke, jota CSC koordinoi RAkenteellisen KEhittämisen Tukena TIetohallinto RAKETTI-VIRTA-projekti.

Esitys aiheesta: "Korkeakoulujen ja opetus- ja kulttuuriministeriön yhteinen tietohallintohanke, jota CSC koordinoi RAkenteellisen KEhittämisen Tukena TIetohallinto RAKETTI-VIRTA-projekti."— Esityksen transkriptio:

1 Korkeakoulujen ja opetus- ja kulttuuriministeriön yhteinen tietohallintohanke, jota CSC koordinoi RAkenteellisen KEhittämisen Tukena TIetohallinto RAKETTI-VIRTA-projekti Tietojen tarkastaminen 6.2.2013, Lauri Jokipii www.csc.fi/virta

2 Tarkastuksia monessa vaiheessa XML-validointi korkeakoulujen puolella XML-validointi tietovarannon puolella Tietojen sisäänluku Tietojen tarkastukset tietovarannossa Tietovarannon tiedot tarkastettavaksi korkeakouluille

3 välikysymys Kuinka moni on saanut Tilastokeskuksen tiedonsiirtojen myötä korjattavaa?

4 XML-validointi Tähän mennessä käytettyjä työkaluja –Xmllint (Linux, Windows) –Xmlstarlet (Windows) –Microsoft SQL Server –ohjelmiston komponentit Validointi varmistaa mm. käytetyt koodistoarvot –Koodistot sisältävät ”kaikki” arvot. Myös vanhentuneet

5 Tietojen sisäänluku Relaatiotietokannassa viite-eheydet (korkeakoulujen tietomalli) Henkilö/Opiskelija Opiskeluoikeus Lukukausi- ilmoittautuminen Opintosuoritus

6 Tietojen tarkastukset tietovarannossa Tutkinnonsuorituksella viittaus koulutusluokitukseen, eli tieto Koulutuskoodista (Tutkintonimike) Opiskeluoikeuden tila –tiedot kattavat opiskeluoikeuden voimassaoloajan katkeamattomana ja yksiselitteisenä …

7 Tietojen tarkastukset tietovarannossa Opiskeluoikeusjakso –tiedot kattavat opiskeluoikeuden voimassaoloajan katkeamattomana ja yksiselitteisenä …

8 Tietojen tarkastukset tietovarannossa ”Edellisen elämän” esimerkkejä: hlo_tupla, hlo_tyyppi, hlo_tuplakayttaja, hlo_aidinkieli, opinoik_ei_asemaa, opinoik_asema_ei_kaytossa, opinoik_ei_kohteita, opinoik_kat_vs_tutk, opinoik_kohde_monta_voimassa, opinoik_kohde_ei_voimassa, opinoik_kohde_laji_ja_tyyppi, opinoik_kohde_tasnro_kohtlaj, opinoik_kohde_opinkohd_ei_voim, opinoik_tdk_ei_kohdevastuu, opinoik_opintark_ei_tilkood, opinoik_vaaria_kohteita, opinoik_kohde_ylimaaraisia, opinoik_tuplia, opinoik_enssij_paattynyt, opinoik_enssij_ei_tutk, opinoik_vaara_asema_voimassa, opinoik_peruutettu_voimassa, opinoik_rajlak_ei_paiv, opinoik_sivu_voimassa, opinoik_optio_ei_paria, opinoik_A2004_aikainen, opinoik_pvm_paat, opinoik_pvm_aloi_ei_alkpaat, opinoik_pvm_opinaloi_tyhja, opinoik_pvm_pari_eq_myon_aloi, opinoik_pvm_enssij_paat, opinoik_pvm_enssij_paallekkain, opinoik_pvm_enssij_aukot, opinoik_pvm_optio, opisk_ei_opinoik, opisk_opisluetpvm_erisuuri, opinkohd_vastuuorg_ei_kata, opinkohd_vastuu_ei_kata, opinkohd_puuttuu_luokittelu, tappvm, tulevaisuuden_suoritus, orgosuu_vanha, tutk_status, tutk_ei_opinoik, tutk_vaara_opinoik, tutk_opinoik_voimassa, tutk_opinoik_paattyy, tutk_suorpvm_ei_oik, tutk_kohteet, tutk_laajuus, tutk_vastuu_puuttuu, tutk_vastuu_eri_paaaine, tutk_tutksuor_ei_opinto, kevatmaksukombinaatio, maksu_perus, osakunta_puuttuu, yksi_lk, ei_oikeutta, kesk_paallekkain, etappi, …

9 Tietojen tarkastukset tietovarannossa Loputon lista, kehitetään jatkuvasti lisää Mahdollisia esimerkiksi: –Opintosuorituksilla koulutusala? (ainakin uusimmilla tulisi olla) –Tutkinnonsuoritus viittaa opiskeluoikeuteen? –Opiskeluoikeus, johon viittaa suoritettu tutkinto, on asetettu päättyneeksi –Ideoita otetaan vastaan

10 Tarkastukset tietovarannossa Tietovarantoon saatetusta tiedosta muodostetaan yksinkertaisia lukumäärätietoja –Mallia otettaneen mm. TK:n tarkastusraporteista, kuten tutkintojen/opiskelijoitten määrät vuosittain ja koulutusasteittain/-aloittain –Ideoita otetaan vastaan Tietovarannon tiedot saatetaan tietokantadumppina korkeakouluille

11 Tarkastusten tulokset Tarkastusten tulokset kootaan raportiksi tai raporteiksi, joka raportti saatetaan tiedoksi VirtaSFTP-palvelimelle Erityisesti virhetilanteiden sattuessa lähetetään sähköposti-ilmoitus ”tekniseen” osoitteeseen

12

13 SATallennus Yhdistetty tallennus SFTP Ohjaus, lähde, muunnos, tarkistus, siirto Luku- rajapinta- sovellus WS-liikenne ulos Tarkistus- sovellus Korkeakoulujen omat palvelut Opetushallituk- sen palvelut Korkeakoulujen valtakunnallinen tietovaranto: Keskitetty tietovarantopalvelu (CSC) Koodistopalvelu Eri instansseina 41-44 korkeakoulua + noin 3 toimittajaa ”korkeakouluina” Yksi valtakunnallinnen instanssi (toimintavarmuus, kahdennus, kuorman jakaminen…) Kokonaisuus toimii automaattisesti ja reagoi korkeakoulusta tulevaan uuteen tietoon ja lukurajapintojen kutsuihin: testi- ja tuotantoympäristöt CSC: poiminta esim. Tilastokeskukselle tai Vipuseen Palvelu A: siirtää tiedot SFTP => Staging Area => Tallennus Palvelu B: (Staging Area) tarkistaa uudelleen tietoa ennen tallennusta Korkeakoulukohtaisen (vihreän) osan suorituskykyvaatimukset ovat matalat, kaikki instanssit samoilla palvelimilla:  2 x Active Directory  SFTP, Events ja Auditor (Tectia) ja SQL  SQL Server 2008 R2 Palvelu C: muodostaa korkeakoulukohtaisista tallennuksista (Tallennus) yhdistetyn lukurajapintoja vastaavan tiedon ja tallentaa sen (Yhdistetty tallennus) Tietojen lukeminen:  Järjestelmäkohtainen valtuutus lukurajapintojen käyttöön.  Valtuutustyyppejä kaksi: valtakunnallinen tai korkeakoulukohtainen.  Käyttövaltuuksien valvonta etäjärjestelmissä.  Lukemisen lokitus.

14 Yhteismital- listen XML- siirtotiedosto- jen muodos- taminen Korkeakoulukohtaisen tietointegraation toteuttaminen: Hahmotelmia korkeakoulun toimenpiteistä Koodistopalvelu käyttöön Siirto: lähdejärjestelmän tuotantoympäristöstä suojatulla yhteydellä CSC:n palvelimelle korkeakoulun omaan hakemistoon ? Lähdejärjes- telmä Siirtotiedos- tojen tarkastaminen Tiedostojen siirtäminen tietovaranto- palveluun (SFTP) Muodostus: lähdetiedoista poimimalla ja päätelemällä. Tarkastus: yhteisen tietoarkkitehtuurin tarkastuksien tekeminen muodostetuille tiedostoille (luodaan ja ylläpidetään yhteisesti). Muodostuksen ja tarkastuksen automatisointi, jotta lähteen tietoja voidaan korjata mahdollisimman pian? Lähteet: Tietojen kokoaminen eri lähteistä? Tietojen siirron automatisointi?

15 SA Keskitetty tietovarantopalvelu Korkeakoulukohtainen vastaanottoalue: SFTP Tietojen automaattinen tarkistus ja raportointi korkeakoululle Korkeakoulukohtainen tietokanta tiedon tallentamiselle SFTP SA Tietojen tarkistus SA Tallennus

16 Tietojen tarkistuspalvelu Korkeakoulujen käyttöön Toiminto, joka käyttää viranomaistietovirtoja varten toteutettuja rajapintoja Tuottaa ”tarkistusraportin” eli näkymän tietosisältöön kattavasti, as is dumppi, esitys web-sovelluksella Bonarina tarkistussummia ja per henkilö -haku sovellettuna korkeakoulurajauksen sisällä