Portaalipalveluiden CKAN esiselvitys (emobit 14.6.2013) Yhteenveto Tilaisuus, Esittäjä 1.

Esitys aiheesta: "Portaalipalveluiden CKAN esiselvitys (emobit 14.6.2013) Yhteenveto Tilaisuus, Esittäjä 1."— Esityksen transkriptio:

1 Portaalipalveluiden CKAN esiselvitys (emobit 14.6.2013) Yhteenveto Tilaisuus, Esittäjä 1

2 Agenda Toimeksianto Summary Soveltuvuus -Yhteinen tietomalli -Asiasanat, sanastot, ontologiat -Muita ominaisuuksia Toteuttamismalli -Ratkaisu -Ehdotus portaalien vaiheistetusta toteutuksesta Osaaminen + työmäärät Tilaisuus, Esittäjä2

3 Toimeksianto Valtion IT-Palvelukeskuksessa (VIP) on käynnistymässä projekti, jossa toteutetaan julkisen hallinnon avoimen datan portaali, kansallinen palvelutietovaranto ja yhteentoimivuusportaali. Portaalipalvelut toteutetaan ketterän kehityksen menetelmällä. VM/JulkICT on jo päätynyt käyttämään CKAN-alustaa avoimen datan portaaliin. Tavoitteeksi on nyt asetettu, että myös kaksi muuta portaalia pitäisi saada samalle alustalle. VIP haluaa tilata suorahankintana selvityksen, jonka perusteella voimme arvioida miltä osin em. tavoite onnistuu. Selvityksestä pitää ilmetä seuraavat asiat: Arvio siitä, miltä osin erilliset portaalit on mahdollista toteuttaa CKAN-alustalle. Alustava kuvaus teknisestä ratkaisusta seuraavilla reunaehdoilla: -Tavoitellaan modulaarista ratkaisua, jotta kutakin palvelua voidaan (tarvittaessa) kehittää omina kokonaisuuksina. -Kuvauksessa on oltava selvitys, mitkä toiminnallisuudet voidaan toteuttaa CKANilla sekä selvitys mihin toiminnallisuuteen CKAN ei sovellu sekä toimittajan näkemyksen näiden toiminnallisuuksien toteuttamiseen soveltuvista yhdessä CKANin kanssa toimivista muista alustatuotteista. Arvio siitä, miltä osin yhteinen metatietomalli voidaan toteuttaa kaikkien kolmen palvelun osalta. Kuvaus yhteismallista saatavista hyödyistä ja mahdollista haitoista. Kuvaus siitä, miten tehdään alustan pystytys, tietojen konvertoinnit ja rajapintojen toteuttaminen. Kuvaus vaadittavasta erityisosaamisesta palveluiden toteuttamisesta ketterällä mallilla sekä alustan rakentamisessa ja ylläpidossa esitetyillä alustatuotteilla. Arvio VM/JulkICT:n määräyskirjoissa kuvattujen palvelujen (portaalien) toteuttamisen työmäärästä esitetyillä alustatuotteilla. 3

4 Summary Selvitys perustuu CKAN 2.0 versioon (uusin) Kaikki kolme portaalia on mahdollista toteuttaa CKAN-alustan ja saman julkaisujärjestelmän (Drupal) yhdistelmällä. Portaalihankkeissa kannattaa ottaa mahdollisimman paljon oppia data.gov.uk:sta ja data.gov:ista, ja kehittää portaaleja yhteistyössä data.gov.uk:n kanssa Järkevältä näyttää yhteisen metatietomallin rakentaminen kaikille portaaleille, mutta lopullinen päätös kannattaa tehdä Alpha vaiheiden jälkeen Työmääräarvio: 645 htp Tilaisuus, Esittäjä4

5 Yhteinen metatietomalli Yksi esiselvityksen keskeisistä tarkoituksista oli arvioida mahdollisuus luoda yhteinen metatietomalli avoimen datan-, yhteentoimivuus- ja palvelutietovarantoportaaleille. Selvityksessä ilmeni että tuleviin kolmeen portaaliin julkaistaan kolmea eri tyyppistä tietoa joiden metatietotarpeet erityisesti käyttäjän näkökulmasta jakautuvat kolmeen eri luokkaan: Avoimet tietoaineistot: CKAN:in malli on erityisesti suunniteltu avoimen datan metatietojen tallennukseen ja vakiomallilla on helppo lähteä liikkeelle jopa ilman lisämetatietokenttiä Asiakirjat ja lomakkeet: Hallitaan dokumentteja, lomakkeita ja niihin liittyviä metatietoja Palvelutiedot: Palvelutiedoissa kerätään eri sähköisiä lomakkeita ja palveluiden kuvauksia ja linkkejä Tilaisuus, Esittäjä5

6 Yhteinen metatietomalli Alla olevassa taulukossa on listattu tuettavat standardit / metatietomallit, joita suositetaan ydin metatietomallin perustaksi: Tilaisuus, Esittäjä6 Standardi / metatietomalliCKAN sisäänluku / harvestointiCKAN julkaisu JHS 183 / JHS 170JHS170 skeeman mukainen konnektori tai automaatti- harvestointi palvelutietojen lukemiseen XML muotoisena Laajennus CKAN:iin jolla palvelutietojen metatiedot voidaan julkaista RDF/XML muotoisena muihin palveluihin JHS 143 Asiakirjojen kuvailun ja hallinnan metatiedot JHS143 skeeman mukainen konnektori tai automaatti- harvestointi lomake.fi ja muiden JHS143 mukaisten asiakirjojen metatietojen lukemiseen Mikäli CKAN API on riittävä niin aineistojen ja asiakirjojen metatiedot voidaan lukea CKAN API:n avulla muihin palveluihin Joinup.Eu:n edellyttämä ADMS- skeema yhteentoimivuusportaalia ja sen tietojen federointia varten ADMS määrityksen mukaisten metatietojen lukeminen CKANiin konnektorin ja/tai harvestointimallin avulla CKAN laajennuksen avulla metatietojen julkaisu ADMS muodossa muihin palveluihin -CKAN-alustan tietomalli datasettien kuvaamiseen (käytännössä DCAT ja Dublin Core yleisemmin) CKAN API

7 Yhteinen metatietomalli Hyödyt: Yhdistämällä ydin metatietomalli kaikkien portaalien kesken saavutetaan seuraavia hyötyjä: -metatietojen siirrettävyys portaalien välillä on mahdollista -on mahdollista tulevaisuudessa ottaa käyttöön yksi CKAN back-end instanssi kaikille portaaleille, joka mahdollistaa esim. yhteisen käyttäjähallinnan, yhteisten harvesterien käytön ja yhteiset hakutoiminnot -yhteistä metatietomallia on helppo laajentaa uusien valtion portaalien tarpeisiin ja metatiedot ovat automaattisesti siirrettäviä näiden välillä -kun hyödynnetään CKAN:in perusmetatietomallia lisäkenttineen pystytään tietovarantoja federoimaan (harvestoimaan) esimerkiksi EU tason CKAN datakatalogeihin ja portaaleihin Haitat: Mahdollisia haittoja yhteisestä metatietomallista: -metatietomallista tulee väkisin monimutkaisempi, koska joudutaan sovittamaan yhteen monta metatietomallia palveluiden erilaisten tarpeiden vuoksi -kaikkia metatietoja ei tarvita kaikissa portaaleissa ja tämä tarkoittaa esimerkiksi käyttöliittymän / lomakkeiden muokkaamista sopivaksi kuhunkin portaaliin ettei turhia metatietoja näytetä. Toisaalta sikäli kun jokainen portaali toteutetaan omana CKAN instanssina tämä on myös luontevaa 7

8 Asiasanat, sanastot, ontologiat Esiselvityksen lähtökohtana oli, että erilaisten asiasanastojen, terminologiapankkien ja ontologioiden integrointi tietojen ylläpitoon tulisi olla mahdollista. kaksi lähestymistapaa: 1. PTV-portaali aggregoi kaikki asiasanat CKAN tietokantaan eri lähteistä. Sen lisäksi että asiasanat luetaan siirtotiedostoA (xml), asiasanat julkaistaan myös ulos palvelutietovarannosta JHS 175 mukaisesti erillisen CKAN rajapintalaajennoksen avulla. Näin sekä avoimen datan että yhteentoimivuus.fi portaalien CKAN:it voivat hakea asiasanat eräajona tarpeen mukaan 2. Palvelutietovarantoon aggregoitua asiasanalistaa kutsutaan dynaamisesti rajapinnan kautta muista CKAN:eista kun tietoja syötetään lomakkeilla. Näin kuhunkin CKAN instanssiin tallentuu oma spesifinen asiasanoitus sitä mukaan mitä kuhunkin portaaliin syötetään. Kuitenkin lomakkeille syötettäessä asiasanojen valikoima on laajempi kuin ko. portaaliin on tallennettu. Tilaisuus, Esittäjä8

9 Asiasanat, sanastot, ontologiat CKAN:iin on sisäänrakennettu tuki tägeille (asiasanoille), joiden syöttöä avustetaan tietokantaan jo tietoaineistojen yhteyteen tallennetuilla asiasanoilla. -Esimerkiksi HRI:ssa otettiin tilastokeskuksen asiasanoista CSV-muotoinen listaus, josta tallennettiin CKAN API:n kautta “Tilastokeskuksen asiasanat”-tietoaineistoksi. Tietoaineisto merkittiin ei-julkiseksi, joten se ei päädy julkiseen portaaliin, vaan näkyy ainoastaan CKAN- tietoaineistojen ylläpitäjille, ja on apuna ennakoivana syöttönä, kun asiasanakenttään syötetään uusia sanoja. Mikäli asiasanalistaus ja sanastot päivittyvät jatkuvasti, niin asiasanat voidaan lukea esimerkiksi erillisellä sisäänlukuskriptillä eräajona olemassa olevista lähteistä, joko suoraan tietokantaan tai CKAN API:n avulla yksittäiseen tietoaineiston yhteyteen. Myös CKAN-sanasto (vocabularies) ominaisuutta kannattaa hyödyntää mahdollisuuksien mukaan. -CKAN-sanastoon voidaan liittää useita asiasanoja. Näin voidaan esimerkiksi edellyttää lomakkeella, että tietystä sanastosta vähintään yksi asiasana on valittava. Sanastoa voi hyödyntää myös asiasanojen ryhmittelyyn aihealueittain Ontologioiden syöttöä / käyttöä voi avustaa esim. integroimalla ONKI valitsimen CKAN syöttölomakkeeseen tai integroimalla CKAN:in syvemmin Tilaisuus, Esittäjä9

10 Muita ominaisuuksia Paikkatieto-ominaisuudet -CKAN mahdollistaa erilaisten laajennuksien avulla esimerkiksi piste- ja polygonimuotoisten paikkatietojen liittämisen tietoaineistoihin ja esimerkiksi aineistojen etsintään tarvittavan karttatyökalun rajaukseen. Monikielisyystuki -CKAN käyttöliittymä on mahdollista kääntää useille kielille, mutta ei ratkaise kaikkia ongelmia -Koska monikielisyyslaajennus ei ratkaise kaikkia monikielisyysvaatimuksia, on HRI:ssä ja muissa monikielisissä hankkeissa hyödynnetty CKAN lisäkenttiä kielikoodien mukaan esim. title_fi, title_se. Ratkaisu ei ole täydellinen, mutta toimivaksi todettu. Tilaisuus, Esittäjä10

11 Toteuttamismalli Ehdotus on että toteutetaan avoimen datan portaalin Alpha ensin, jolloin opit ja kompetenssit voidaan hyödyntää muiden portaalien Alpha kehityksessä. Samoin toimitaan myös Beta- ja tuotanto- vaiheiden porrastuksessa Koska CKAN alusta on valittu metatietokantaratkaisuksi, on myös suositeltavaa ottaa se käyttöön valmisohjelmisto ajatuksella. -Eli lähtökohta tulisi olla että valtion olemassaolevat tunnistautumis- (VIRTU), metatieto-, käyttäjärooli-, organisaatio- ja muut mallit sovitettaisiin ainakin alkuvaiheessa CKAN:issa valmiina oleviin tietorakenteisiin ja malleihin - ei päinvastoin. Lisäksi tulisi hyödyntää CKAN laajennusten, organisaatiomallin, kategorioiden, tagien (asiasanojen) ja sanastojen tarjoamia ominaisuuksia. Tällä tavoin päästään kokeilemaan, testaamaan ja tutustumaan järjestelmään Alpha käytössä. Tämän avulla CKAN järjestelmä ja sen ominaisuudet ja optimaaliset kehitysmenetelmät tulevat riittävän tutuiksi, jonka jälkeen sitä voidaan laajentaa ja parantaa vastaamaan valtion tarpeita ja vaatimuksia. Tilaisuus, Esittäjä11

12 12 ”Toteutusratkaisu” (julkaisujärjestelmiksi ehdotetaan Drupal)

13 13 Ehdotus portaalien vaiheistetusta toteutuksesta

14 14

15 Osaaminen Laaja-alainen ymmärrys CKAN-alustan asennuksesta, kehityksestä ja ylläpidosta. Tämän lisäksi tarvitaan erityisosaamista seuraavilla osa-alueilla: Drupal-julkaisujärjestelmä XML-teknologiat ja -skeemat järjestelmäintegraatiot ja rajapinnat ( HTTP REST, JSON, RPC jne. ) PHP- ja Python- ohjelmointikielet Ubuntu Linux Tietokannat ( MySQL ja Postgres ) Tilaisuus, Esittäjä15

16 Työmääräarvio (HTP-arvio) Avoimen datan portaali -Alpha 15 htp -Beta 120 htp -Tuotanto100 htp* Yhteentoimivuusportaali -Alpha 20 htp -Beta 80 htp -Tuotanto100 htp* Palvelutietovaranto -Alpha 20 htp -Beta 90 htp -Tuotanto 100 htp* Yht 645 htp:n työpanos (*) Tuotannon työmääräarvio riippuu täysin siitä missä laajuudessa tuotantojärjestelmiltä vaadittavat toiminnot (tietoturva, käyttäjäpersoonat/roolit, tunnistautuminen, esteettömyys jne.) toteutetaan. Tilaisuus, Esittäjä16

17 Tilaisuus, Esittäjä17