Tietosisällön laadunvarmennus, nykytila ja kehitysaskeleet

Esitys aiheesta: "Tietosisällön laadunvarmennus, nykytila ja kehitysaskeleet"— Esityksen transkriptio:

1 Tietosisällön laadunvarmennus, nykytila ja kehitysaskeleet

2 Lähtökohta: Tietosisällön laadun validointitaulukko 3.7.2015
Ei lainkaan puutteita Lieviä puutteita Merkittävästi puutteita Musta lista ARCADA, CENTRIA, DIAK, HAAGA-HELIA, HAMK, HUMAK, KARELIA, KYAMK, LAMK, LAPIN AMK, LAUREA, NOVIA, SAMK, SAVONIA, SEAMK, TAMK, TUAMK,TY, VAMK, VY ÅA, AYO, JY, LTY, MAMK, OAMK, SAIMAA, TAIY, VY UEF HY, JAMK, KAMK, LAY, METROPOLIA, SHH, TAY, TTY Taulukko perustuu teknisen validoinnin tuloksiin ja ”mielivaltaisiin” mittareihin värien määrityksessä, ollen vain suuntaa antava mutta onko se sitäkään?

3 Miksi tiedon laadulla on väliä?
Viranomaistiedonkeruiden siirtyessä enenevissä määrin VIRTA- pohjaisiksi tietojen merkitys rahoitukseen kasvaa Toiminnan kehittämisen ja korkeakoulutuksen tuottavuuden arvioinnin kannalta yhdenmukainen luotettava tietosisältö on ehdoton edellytys Esimerkki: Maahanmuuttajien valmentavan koulutuksen ”tuoton” arviointi vaikeaa jos korkeakoulut kirjaavat opiskeluoikeuksia eri tavalla ja perusjoukon löytäminen mahdotonta. Historiatiedon luotettavuus edellytys tutkimustoiminnalle, muuten kaikissa poiminnoissa on aina varauduttava suureenkin epävarmuuteen mikä vähentää tiedon hyödynnettävyyttä Toisaalta VIRRAN hyödyntäminen opiskelijavalinnoissa edellyttää oikeusturvan takia tiedon täydellistä oikeellisuutta, ts. ensikertalaiskiintiössä ei voi tulla valituksi opiskelija jonka ensikertalaisuuden poistava korkeakoulututkinto tai opiskeluoikeus on syystä tai toisesta ”näkymätön” VIRRASSA

4 CASE: Tilastokeskuksen opiskelijatiedonkeruut
Tilastokeskuksen opiskelijatiedonkeruut toteutettiin 2014 syksyllä yliopistojen osalta CSC:n toimesta VIRTA-lähtöisenä Tietuekuvaus ja määrittelyt käytiin läpi yhdessä korkeakoulujen kanssa Mallitiedostoja tuotettiin automaattisesti ennen lopullisen poiminnan ajankohtaa (leikkausajankohtana jatkuvasti 20.9 tilanne). Tiedot poimittiin ja lähetettiin Tilastokeskukselle, korkeakoulut saivat korjata tietojaan lopulliseen poimintaan saakka Tammikuussa 2015 tehtiin CSC:n toimesta opiskelijatiedonkeruun ennakkotietojen poiminta samoilla poimintamääreillä samasta ajanjaksosta Osalla korkeakouluja merkittäviä eroja tiedoissa ts. VIRTA-Opintotietopalvelussa oleva tieto oli takautuvasti muuttunut Yksi syy oli korkeakoulujen (esim. ÅA) tapa joutua manuaalisesti määrittelemään ilmoittautumispäivämäärät VIRTA-tietomallia vastaavaksi, tämä prosessi tehtiin vain tiedonkeruiden ajaksi ja poistettiin sen jälkeen -> erot datassa ÅA korjaamassa ongelman lähdejärjestelmässä 2015 syksyksi

5 Miten ratkaista ongelmat?
Tietomalli itsessään ei tarkoita että esim. Tietokenttiä käytetään oikein, tai että kaikkea tarpeellista mutta ei pakolliseksi määriteltyä tietoa tuodaan VIRTAAN Tietosisällön dynaamisuus (ts. VIRTA-tieto elää, eikä ole staattinen tilastoaineisto) osin väistämätöntä inhimillisten ja teknisten virheiden (sekä virhetilanteiden) takia 2015 Ennakkotieto poimitaan samalla erää kun varsinainen opiskelijatiedonkeruu, ei kuitenkaan poista itse tietosisällön ongelmia! Aineistopoiminnat rakennetaan ehtojen pohjalle (esim läsnäolevassa- tilassa oleva ilmoittautuminen korkeakoulussa X), ei yksittäisten henkilöiden, tällöin perusjoukon rajautuu tietosisällön yhdenmukaisuuden varaan Jos perusjoukko lukittaisiin esim. henkilöperusteisesti ( ks. ohjausryhmän päätös ) on mahdollista että perusjoukko ei sisältäisikään kaikkia oikeasti valideita henkilöitä, tällöin näiden henkilöiden suoritukset tilastoissa eroaisivat korkeakoulujen omista tiedoista.

6 Ratkaisun avaimia Mahdollisena ongelmien havaitsemista edistämänä ratkaisuna delta- laskenta (eli muutoksen tarkkailu) päivittäin/viikoittain, myös poiminta- ajankohdan jälkeen. Poimintojen jälkeen jatketaan tiedonkeruu-tiedostojen muodostumista valituin väliajoin, säilötään välimuistissa edellisen ajon tiedosto, TK:lle toimitettu tiedosto ja lasketaan valittujen indikaattorien muutosta (esim. opiskelijamäärä) Sisällöllisiä ongelmia ei voida havaita mekaanisin tarkistuksin, ilmenevät vain tietoaineistoja rakentaessa ja tekemällä vertailua sekä lähdejärjestelmiin että muihin lähteisiin. Periaatteellinen linjaus historiadatan luotettavuudesta ja käytöstä määritettävä, OKM:n tulee myös linjata miten tietovarannon lakisääteistä sisältöä tulee noudattaa ja minkälaiset poikkeukset ovat hyväksyttäviä.

7 Korkeakoulut tarkistamaan VIRTA-tietoa suoraan VIRRASSA?
Korkeakoulut muuntavat tiedot omista lähdejärjestelmistään VIRTA- muotoon ja siirtävät VIRRAN palvelimille, teknisiä puutteita tiedoissa raportoidaan puutetarkistusraporttien muodossa ”paluupostina” -> liikennevalot Sisällölliset puutteet havaitaan yleensä vasta tiedonkeruiden yhteydessä, erityisesti tilanteissa missä korkeakoulu joutuu muuntamaan lähdejärjestelmiensä tietomallia merkittävästi VIRTA-tietomallia vastaavaksi (esim. opiskeluoikeuksien määrittelyiden kohdalla jonkin verran eroja lähdejärjestelmien ja VIRTA-tietomallin välillä) Jotta korkeakoulut voisivat paremmin tarkastella VIRTA-sisältöjään ja tehdä suoraan vertailuita aidolla datalla VIRRAN ja lähdejärjestelmiensä välillä voitaisiin korkeakouluille avata pääsy suoraan korkeakoulukohtaisiin VIRTA- tietokantoihin CSC:n toteuttaman tietoturvallisen etätyöpöytäyhteyden yli (käytössä jo mm. OKM:n virkamiehillä, Akatemialla yms.) Suorat tietokantavertailut helpottaisivat korkeakoulujen työtä ongelmien etsimisessä ja selvittämisessä, CSC tarjoaa valmiita poimintakomentoja esim. TK:n tiedonkeruutiedoston muodostamiseksi korkeakoulun niin itse halutessa yms.

8 Muita osin jo käytössä olevia toimenpiteitä ja ehdotuksia toimenpiteiksi
Tehtävä Osallistuvat tahot Aikataulu VIRTAAN tuotavan tiedon tekninen validaatio Virran Staging Area-palvelimilla CSC, Korkeakoulut Jatkuva prosessi, synnyttää nk. Tekniset puutelistaukset tietomallin mukaisista virheistä. Tiedonkeruutiedostojen muodostaminen automaattisesti korkeakoulujen ja tiedon tarvitsijoiden saataville, dokumentaatio tiedostoista ja poimintaperusteista esillä julkisesti CSC Jatkuva prosessi missä sovittua tiedonkeruutiedostoa muodostetaan päivittäin Virran SFTP-palvelimille jotta korkeakoulut ja tiedon tarvitsijat (esim. KELA, TK, OKM) voivat varmistua että VIRTA-tiedot vastaavat lähtötasoa korkeakoulun kannalta tai tavoitetasoa tiedon tarvitsijan näkemyksen pohjalta. Tehtävä 3 tukee toimintaa. Korkeakoulujen konsultaatio havaituissa tietopuutteissa, neuvonta epäselvyyksissä Jatkuva prosessi missä CSC tarjoaa tukea tikettijärjestelmän, henkilökohtaisten kommunikaatioitten ja etäyhteyksien kautta korkeakouluille Puutetarkistusten tiedot julkisesti esillä laajempaa vertailua varten, ns. liikennevalot, jätetään tuomatta opiskelija-avaintietoja pois Jatkuva prosessi, jatkojalostuu tehtävän 5 myötä. Puutetarkistus-tietojen julkaiseminen korkeakoulujen extra-vipunen-työtilassa automaattisesti päivittyvänä selkokielisenä Powerpivot-raporttina. 07/ /2015 Uusien teknisten ja sisällöllisten puutetarkistusten kehitys havaittujen poikkeamien ja uusien tietomallilisäysten pohjalta mm. yleisinä boolean-tyyppisinä tarkistuksina (esim. liikkuvuusjakso-tiedon seuranta, onko liikkuvuusjaksoja tuotu/ei tuotu) 06/2015- Jatkuva prosessi KV-liikkuvuuteen liittyvät tarkistukset 08/2015 mennessä Valviran opiskelunaikaisen pätevyyden koodien tarkistukset 08/2015- Dynaamiset operatiiviset raportit esim. opintopisteistä ja tutkinnoista esillä julkisesti. Virrassa olevan tiedon esilletuominen vertailukelpoisesti tuo esille puutteita tietosisällöissä ja julkinen esilläolo kannustaa puutteiden korjaamiseen 07/2015- Tiedontarvitsijoitten tietotarpeiden huomioiminen uusien puutetarkistusten luomisessa (esim. TK:n tarpeet henkilötunnusten sukupuoli-tiedon tarkistukselle) CSC, Viranomaistahot 06/2015- Viranomaistiedonkeruuprosessien aikataulutukset ehdottomiksi mutta keräysprosessi dynaamiseksi (ks. Tehtävä 2). Tiedonkeruutiedostojen muodostus hyvissä ajoin ennen luovutushetkeä, korkeakouluille aikaikkuna tietojen hyväksymiselle ja tietojen luovutus tiedon tarvitsijoille ilman mahdollisuutta korjata puutteita. Erikseen päätettäessä. Historiadatan tarkistuksia esim. tiedonkeruutiedostojen muodostamisella ja vertaamisella aiemmin toimitettuihin (esim. TK:n opiskelijatiedonkeruut vuoden 2010 Virta-tiedoista verrattuna jo Vipusessa julkaistuihin tietoihin). Mahdollisuus saada myös takautuvasti tietosisältö luotettavaksi myöhempiin laaja-alaisiin tietopoimintoihin. Erikseen päätettäessä Muiden tiedonkeruitten pohjalta esilletulevat tietosisällön vertailut korkeakoulujen omien kattavampien rekisterien kanssa. Esim. FUCIO:lle toteutetun opintojaksojen määrää tarkastelevan tiedonkeruun pohjalta. Vertaillaan identtisesti nimettyjen opintojaksojen suorittaneitten opiskelijoiden määrää suhteessa korkeakoulun omiin tarkempiin tietoihin yksittäisen opintojakson suorittaneista CSC, FUCIO, AAPA, Korkeakoulut Myös erikseen ostettavana työnä, 08/2015-