Pilottiehdotuksen osapuolet: CSC – Tieteen tietotekniikan keskus Oy

Esitys aiheesta: "Pilottiehdotuksen osapuolet: CSC – Tieteen tietotekniikan keskus Oy"— Esityksen transkriptio:

1 Yhteentoimivuutta edistävien työkalujen kehittäminen - JulkICTLab pilotti
Pilottiehdotuksen osapuolet: CSC – Tieteen tietotekniikan keskus Oy Aalto yliopisto Verohallinto Yhteyshenkilö (Product Owner): Suvi Remes Tekninen yhteyshenkilö (Scrum Master): Miika Alonen

2 Tiivistelmä Pilotin sisältö lyhyesti: Pilotissa kehitetään työkaluja yhteisen tietomallinnusmenetelmän soveltamiseksi, tukemaan organisaatioiden välistä tiedonvaihtoa ja semanttista yhteentoimivuutta. Pilotilla tuetaan: Organisaatioiden välisen tiedonvaihdon toteuttaminen yhteismitallisesti Yhteisesti käytettävien tietomääritysten määrittely ja dokumentointi, esimerkiksi palveluväylään toteutettaville ratkaisuille Yhteentoimivuutta edistävien työkalujen kehittäminen edellyttää avointa kehittämisyhteisöä, jossa eri organisaatioiden osaaminen voidaan hyödyntää kustannustehokkaasti Tulos: Avoimella lähdekoodilla toteutettu tiedonvaihtoa tukeva ratkaisu yhteisten tietomallien määrittelyyn ja julkaisuun Kehitetään työkaluja yhteisen tietomallinnusmenetelmän soveltamiseksi tukemaan semanttista yhteentoimivuutta Tuetaan tiedonvaihdon toteuttamista yhteismitallisesti Tukee yhdenmukaista tietorakenteiden ja rajapintojen dokumentointia Tukee tietosisältöjen määrittelyä kustannustehokkaasti -> Nopeampi siirtyminen toteuttamiseen

3 Yhteentoimivuutta edistävien työkalujen kehittäminen
Osapuolilla on samansuuntaiset visiot, prioriteetit ja tavoitteet Poliittinen tahtotila Lainsäädännön yhteentoimivuus Lainsäädännölliset tekijät on otettu huomioon tietojen vaihtamisessa Lainsäädännön yhtenäistäminen Organisaatioiden yhteentoimivuus Eri organisaatiot pääsevät kokonaisedun mukaiseen tavoitteeseen yhteen sovitettujen prosessien kautta Organisaatioiden ja prosessien yhtenäistäminen Informaatiolla on täsmällinen merkitys, joka säilyy tietoa vaihdettaessa muuttumattomana ja ymmärrettävänä kaikille osapuolille Semanttinen yhteentoimivuus Semanttinen yhtenäistäminen Yhteentoimivuutta edistävien työkalujen kehittäminen Tekniset rajapinnat on suunniteltu siten, että ne mahdollistavat järjestelmien ja palvelujen yhdistämisen Tekninen yhteentoimivuus Tiedon siirto ja yhteydet

4 The Helsinki Principle
“Any meaningful exchange of utterances depends on the prior existence of an agreed set of semantic and syntactic rules. The recipients of the utterances must use only these rules to interpret the received utterances, if it is to mean the same as that which was meant by the utterer.” ISO TC97/SC5/WG3 Working Group Helsinki 1978

5 Esityksen sisältö Historiakatsaus korkeakoulujen yhteiseen tietoarkkitehtuuriin Korkeakoulujen yhteentoimivuusmalli Yhteentoimivuusmallista yhteiseksi menetelmäksi Yhteentoimivuutta edistävien työkalujen kehittäminen Yhteentoimivuuskuvausten tekninen arkkitehtuuri

6 Lyhyt historiakatsaus korkeakoulujen yhteiseen tietoarkkitehtuuriin

7 Tietoarkkitehtuurin kehitys korkeakoulusektorilla
~ Korkeakoulu x Korkeakoulu y Y Ö M-määritykset X Z Joustavien opintojen siirrot kotikorkeakoulusta kohdekorkeakouluun, KV-liikkuvuustiedot, opiskelijoiden tiedot oppimisalustoille

8 Tietoarkkitehtuurin kehitys korkeakoulusektorilla
Yhteinen opintohallinnon ydintietojärjestelmä Korkeakoulujen tietomalli XDW Korkeakoulujen yhteinen tietovarasto

9 Tietoarkkitehtuurin kehitys korkeakoulusektorilla
Yliopistolakiuudistus 2010 Korkeakoulu x Korkeakoulu y Korkeakoulu z Korkeakoulu ä-ö (oma ratkaisu) XDW 1.1 ESB / Palveluväylä XDW 1.2b ESB / Palveluväylä XDW V2b ESB / Palveluväylä M-määritykset ”Omien tietojärjestelmien kehittäminen on kilpailuetu”

10 Tietoarkkitehtuurin kehitys korkeakoulusektorilla
2013 Korkeakoulujen valtakunnallisen tietovarannon käyttöönotto Opiskelijavalintauudistus Oili Korkeakoulujen opiskelijaksi-ilmoittautumis- ja lukuvuosi-ilmoittautumispalvelu Korkeakoulut a-x Korkeakoulu z XDW ESB / Palveluväylä Rest APIs KSHJ Korkeakoulujen sähköinen haku- ja valintajärjestelmäratkaisu korkeakoulujen tulee varata yhteishaussa osa opiskelupaikoista niille, jotka eivät ole aiemmin suorittaneet korkeakoulututkintoa tai vastaanottaneet korkeakoulututkintoon johtavaa opiskeluoikeutta Korkeakoulujen  valtakunnallinen tietovaranto ja viranomaistietovirrat VIRTA

11 Tietoarkkitehtuurin kehitys korkeakoulusektorilla
?? Uusia palveluita – Lisää rajapintoja Euroopplaiset korkeakoulut (ERASMUS+ / EMREX) É Å Rest APIs Korkeakoulut a-x Korkeakoulu z Oili Korkeakoulujen opiskelijaksi-ilmoittautumis- ja lukuvuosi-ilmoittautumispalvelu XDW ESB / Palveluväylä Rest APIs KSHJ Korkeakoulujen sähköinen haku- ja valintajärjestelmäratkaisu VIRTA Tutkimusaineistot Jullkaisut Etsin Kansallinen tutkimusaineistojen hakupalvelu Juuli Kansallinen julkaisutietoportaali ? Uusi palveluita

12 Yhteiset tietosisältöjen määritykset korkeakoulusektorilla
rajapinnat rajapinnat esim. kirjastotoimi KSHJ Wiki Excel JSON XML ? rajapinnat rajapinnat VIRTA korkeakoulujen tietojärjestelmät Taustamuistio: XDW Korkeakoulujen tietomalli (tietomalli.csc.fi)

13 Ongelma Yksi tietosisältö monta tapaa mallintaa RDB XML JSON RDF …
<!ELEMENT Organisaatio (Nimi)> <!ATTLIST Organisaatio id CDATA> <!ELEMENT Nimi (#PCDATA)> <XML> <Organisaatio id=”abc”> <Nimi>Esimerkki</Nimi> </Organisaatio> </XML> Ongelma Yksi tietosisältö monta tapaa mallintaa RDB XML JSON RDF … <?xml version="1.0" encoding="UTF-8" ?> <xs:schema xmlns:xs=" <xs:element name=“Organisaatio">   <xs:complexType>     <xs:sequence>       <xs:element name=“Nimi" type="xs:string"/>     </xs:sequence>     <xs:attribute name=“id" type="xs:string" use="required"/>   </xs:complexType> </xs:element> </xs:schema> Räätälöity integraatioratkaisu Räätälöity integraatioratkaisu Räätälöity integraatioratkaisu Räätälöity integraatioratkaisu ? Räätälöity integraatioratkaisu Räätälöity integraatioratkaisu Nimi, koodi Esimerkki; abc Eri tekniikoiden integraatio on helppoa … Ei hätää – maailma kuntoon integraatio kerrallaan? Ongelmana semanttinen yhteentoimivuus, eli sopiminen yhteisistä tietosisällöistä - ts. politiikka – vaikeaa. { Palveluntuottaja: { ”tunnus”:”abc”, ”Nimi”:”Esimerkki” } { ”title”: ”Palveluntuottaja”, ”type”: ”object”, ”properties”: { ”tunnus”: { ”type”: ”String” }, ”Nimi”: { ”type”: ”String”} } CREATE TABLE Yritys ( koodi int, Nimi varchar(255), ); Yritys + koodi + nimi

14 Tavoitetila Yhteentoimivuusmalli Sanasto Luokitukset Rajapinta
X Tietomalli Y Tietovarasto Z

15 ? ?

16 Yhteentoimivuusmalli
Sanasto Standardit Yhteiset määritykset eri käyttökohteisiin Tietoelementit määritellään sanastossa ja linkitetään standardeihin Luokkia ja ominaisuuksia tarkennetaan käyttötarpeen mukaan Yhteentoimivuusmalli Ydintietomalli on tietomalleja harmonisoiva kerros Opintojakso Koodi X Nimi Laajuus Opintojakso Koodi X Nimi Laajuus Opintojakso Määr .. Pakolli ... Koodi X Nimi Laajuus … Rajapintakuvaukset Tietomallit

17 Yhteentoimivuusmallin tavoitteet
korkeakoulutuksen ja tutkimuksen yhteiset tietomääritykset yhteensopivuus kansainvälisten standardien kanssa tietomallinnuksen menetelmät linkitys kansainvälisiin tietomäärityksiin (formaalisti ja semanttisesti) tietojärjestelmien yhteentoimivuus modulaariset tietomääritykset: viestinvälitys (eri toimialojen) rajapintaratkaisut tietokantarakenteet (eri toimialojen) tietovarannot sovelluskehitys (eri toimialojen operatiiviset) tietojärjestelmät implementaatiokohtainen dokumentaatio - JHS 181 standardisalkku: Tietojärjestelmät ovat teknisesti ja tietosisällöllisesti yhteentoimivia muiden julkisen hallinnon viranomaisten tietojärjestelmien kanssa silloin, kun ne käyttävät samoja tietoja tai kykenevät toimimaan yhteen rajapinnan kautta tai muulla tavalla.

18 KV referenssit Korkeakoulusektori Core Data Models
CEN/WS LTS 14855 / / / … ISO MLR ISO/IEC Core Data Models NIEM / CCTS / UBL / Oasis ebXML ISA (Joinup / Semic) Core vocabularies Tavoite harmonisoida ja linkittää eri maiden Core Data malleja: XÖV / Stelselcatalogus.nl / Swedish & Danish Core Data models

19 Korkeakoulujen yhteentoimivuusmallista yhteiseksi menetelmäksi

20 Core vocabularies XML NIEM CCTS (ISO 11179 …) UBL EBXML (ISO 15000)
Application profile DCMI CEN/TC 353 ISO MLR ISA Joinup Core Vocabularies UML MOF extensions (CCTS yms.) CIM (Common information model) hyperModel

21 Yhteinen tietoarkkitehtuuri?
Ohjelmointi Java Javascript PHP Python Rajapinnat XML JSON Terminologiset sanastot Sanastot Käsitteistö Käsitemalli Luokitukset SKOS Koodistot Enumeraatiot XML JSON Koodistopalvelu Tietomallinnus UML XML Wiki Excel RDF ER Tietovarastointi RDB SQL

22 Yhteentoimivuusmenetelmä
Yhteiskäyttöisissä palveluissa ja prosesseissa käytettävät käsitteet on määriteltävä asianmukaisesti ja koneluettavassa muodossa Yhteisten tietomäärityksien tulee perustua sanastossa määriteltäviin käsitteisiin Tietomääritykset ovat uudelleenkäytettäviä tietokomponentteja (luokka, ominaisuus ja assosiaatio) Tietojärjestelmien väliset rajapinnat kuvataan sovellusprofiilissa uudelleenkäyttämällä tietomäärityksiä Sovellusprofiili muodostuu toimialueella kuvatuista uudelleenkäytettävistä tietomäärityksistä, eli luokista, ominaisuuksista ja niille asetetuista rajoituksista Malli ei riitä … tarvitaan menetelmä … yhteentoimivuusmenetelmä

23 Yhteentoimivuusmenetelmä
Sanastot käsitteet määritelmät luokitukset Tietokomponentit luokat ominaisuudet assosiaatiot Sovellusprofiilit käyttötarkoitus rajoitukset laajennokset Yhteentoimivuusmenetelmä Yhteinen metatietoarkkitehtuuri käsitteiden ja tietorakenteiden mallintamiseen Yhteentoimivat sanastot Yhteentoimivat tietorakenteet Yhdenmukainen dokumentaatio

24 Yhteinen metatietoarkkitehtuuri = Yhteinen tapa tehdä tietoarkkitehtuuria

25 Yhteentoimivuusmenetelmän hyödyt
Muodostaa eri käyttötarpeisiin soveltuvia tietomalleja, jotka perustuvat yhteisiin käsitteisiin Vähentää uudelleenmäärittelyn tarvetta Voidaan kehittää yhteentoimivia tietomalleja eri käyttötarkoituksiin Lisätä kenttiä ja assosiaatiosuhteita tietokomponenttikirjastoon ”sotkematta” tietovarastomallia tai rajapintakuvauksia Linkitys kansainvälisiin standardeihin kerran - ei sovelluskohtaisesti ”Master metadata” yhdessä paikassa rajapintojen kautta hyödynnettävissä - tulevilla kalvoilla huomioita siitä miten eroaa nykyisestä XDW-mallista

26 Yhteentoimivuutta edistävien työkalujen kehittäminen

27 Pilotin toteutuksen esittely
Koodistopalvelu Sanasto editori Tuottaa visualisointeja Käyttää koodistoja TEPA-termipankki (TSK Sanastokeskus) JulkICTLab pilotti Rajapinta JHS julkisen hallinnon yhteinen sanasto, OKSA- opetus- ja koulusanasto Tietosisältö kuvattu profiilissa Käyttää sanastoja Finto -sanasto- ja ontologiapalvelu (Kansalliskirjasto) -sanastot sijaitsevat niiden hallintamallin mukaisesti määritellyssä paikassa, esimerkiksi Finto (Kansalliskirjasto) tai TEPA (TSK Sanastokeskus) -uusi tietojärjestelmä hyödyntää valmiiksi määriteltyjä (terminologisia) sanastoja tai ontologioita OKSA = Opetus- ja koulutussanasto JHS = Julkisen hallinnon yhteinen sanasto Tietokomponentit Sovellusprofiilit XSD Rajapinnan skeema JSON Schema Dokumentoi / tuottaa skeemoja RDF ”voi hyödyntää esim. base-skeemoina tai siirtoformaattina”

28 Tuotokset ja aikataulu
Pilotissa tarkentuva tietojärjestelmä avointen tietomäärityksien tuottamiseen, hallinnointiin ja julkaisuun Tietomallien ylläpito- ja julkaisuympäristö Sanastoihin perustuvien tietomäärityksien määrittelymenetelmä ja työkalut Tiedonsiirtomääritysten määrittelymenetelmä ja työkalu teknisten skeemojen tuottamiseen Avoimen lähdekoodin toteutus Potentiaaliset käyttäjät: Julkishallinnon ja muiden toimialueiden tietomallintajat ja sovelluskehittäjät Julkishallinnon ja muiden toimialueiden sisällönasiantuntijat Tietoaineistojen kuvailijat välillisesti kuvailueditorien kautta Onnistunut käyttöönotto: Tavoitepilotin toimialueen tietomääritykset mallinnettu tietojärjestelmällä Tavoitepilotti käyttää tietojärjestelmällä tuotettua tietomallia tiedonsiirrossa Aikataulu: Suunnitteluvaihe 01/2015 – 03/2015 Toteutusvaihe JulkICTLabissa 04/2015 – 12/2015 - käytännössä suunnittelua tehty jo 2014 alkaen, RAKETTI-hanke

29 Projektikumppanit CSC – Tieteen tietotekniikan keskus Oy
projektikoordinaatio määrittely ja tekninen toteutus Aalto-yliopisto käyttötapaukset; määrittely Verohallinto / Katre-hanke VM / JulkICTLab -kehitysympäristö laaja sidosryhmäverkosto (korkeakoulut, ATT-hanke, julkisen hallinnon toimijat) ”PoC-lähestyminen ja testaus”, jalkautus osissa Metatietopalvelun ekosysteemi – kansalliset tavoitteet

30 Aikataulutus aloituskokous ti 11.8. klo 9.30-12
suunnittelukokoukset yl. ma klo 12-15:30 kahden viikon sprintit katselmoinnit yl. pe klo 9:30-12

31 Käyttökohteita

32 Tietojärjestelmänäkökulma: Keskitetty metatieto hajautettu aineistojen hallinta

33 Keskitetty metatietovarasto
Aineistojen kuvailu dynaamisilla lomakkeilla Aineistojen mahdollisia metatietoja voi päivittää täydentämällä sovellusprofiilia Sovellusprofiilikirjasto Sama tieto kysytään vain kerran, Yhteisiä tietoja hallinnoidaan sovellusprofiileilla Palvelu x Palvelu y Dynaaminen lomake Dynaaminen lomake Tietovarasto Tietovarasto Keskitetty metatietovarasto Eri alustoille talletetut aineistot ajantasaisilla yhtenäisillä metatiedoilla

34 Integraationäkökulma: Rajapintojen sovellusprofiilit

35 Sovellusprofiilit WDSL sanomiin paketoiduille tietorakenteille
Määrittelee tietosisällöt tekniikkariippumattomasti Ihmisluettava dokumentaatio XML skeemojen tuottaminen Yhteiset nimeämiskäytännöt Linkitys sanastoihin Mäppäys KV standardeihin

36 Tekninen toteutus

37 Pilotin tekninen arkkitehtuuri
Tarkempi dokumentaatio

38 Metatietoarkkitehtuuri
Yhteentoimivuusvälineistön metatiedot (METAMETA taso) RDF/S SHACL Kardinaliteetit AND/OR/XOR CEN / CWA 15248 Sovellusprofiilin kuvailutiedot SKOS Käsiteviitteet Luokitukset Käytetty formaatti: JSON-LD Nimiavaruudet JSON rakenteille Prosessointi SPARQL / XPROC pipelines

39 JSON-LD/AngularJS UI POC testit
Tietokomponenttikirjasto: Sovellusprofiili: Edumeta Kuvakaappauksia 2014 prototyypistä

40 Kehitysympäristö CSC:n omat virtuaalit (Pouta) Kehitys Githubissa:
iow.csc.fi Kehitys Githubissa: iow-ui (alustava runko) iow-api Master branchit synkronisoidaan virtuaalin kanssa kerran tunnissa Automaattinen mvn install paketonti iow-api:lle Käyttöliittymälle sovittava automatisointi grunt jne. yms. testit

41 Sisällöllinen määrittely
Sisällöllisellä määrittelytyöllä (mm. tietokomponentit, sanastot) omat ohjausrakenteet. Sisältö tuotetaan kehitysprojektin ulkopuolella, tehtävään kootuissa tai muutoin muodostetuissa ryhmissä ja/tai verkostoissa. Tiivis yhteys sisältötyöhön ja sitä tekeviin ryhmiin on projektin kannalta kuitenkin keskeistä. Opintohallinnon tietokomponentit Julkisen hallinnon tietokomponentit

42 Yhteentoimivuuden välineistö
Lisää projektin verkkosivuilla ja githubissa Rautalankamallit Graafinen ulkoasu Käyttötapausmäärittelyt

43 Kiitos!