Pitkäaikaissäilytyksen metatiedot

Esitys aiheesta: "Pitkäaikaissäilytyksen metatiedot"— Esityksen transkriptio:

1 Pitkäaikaissäilytyksen metatiedot
Juha Hakala Kumea

2 Yleistä Pitkäaikaissäilytyksen metatiedot ovat hallinnollisia metatietoja, kuten tekniset ja käyttöoikeuksien metatiedot Hallinnolliset metatiedot eivät ole pysyviä, toisin kuin kuvailevat metatiedot Pitkäaikaissäilytyksen metatiedot päivittyvät aina, kun säilytettävään dokumenttiin kohdistuu toimenpiteitä Kun tehdään tiedostoformaatin migraatio, tekniset metatiedot menevät täysin uusiksi MARC-formaatissa on runsaasti käyttöoikeuksien metatietoon liittyviä tietoelementtejä, jonkin verran teknisen metatiedon elementtejä, mutta niukasti pitkäaikaissäilytyksen metatietoja Luetteloija voi joutua tallentamaan myös hallinnollista metatietoa, vaikka se tuotetaan yleensä ohjelmallisesti E-aineistojen käsittelyprosessien automatisointiaste vaihtelee Oikeudet voivat siirtyä esim. tekijän perikunnalle tai sopimuksen nojalla työnantajalle. PAS-metatiedot

3 Pitkäaikaissäilytyksestä Suomessa
OKM:n alaiset kirjastot, arkistot ja museot toimittavat e-aineistonsa pitkäaikaissäilytettäväksi CSC:llä olevaan digitaaliseen arkistoon eli PAS-järjestelmään Samaan järjestelmään tallennetaan myös tutkimusdata PAS-järjestelmään siirrettävä aineisto on paketoitava siten, että dokumentin mukana on kaikki sen säilyttämiseen tarvittava metatieto Paketointistandardi on Metadata Encoding and Transmission Standard eli METS ( XML-skeema, jolla voi tallentaa dokumentin kuvailevan, hallinnollisen ja rakenteisen metadatan ja linkit tiedostoihin CSC ylläpitää paketointipalvelua, joka helpottaa PAS-määritysten mukaisten informaatiopakettien luontia Esimerkki poikkeavasta lisenssiehdosta: yksityisarkiston aineisto on muuten vapaasti käytettävissä, mutta YLE:n toimittajille sitä ei saa antaa. PAS-metatiedot

4 PAS-ohjeistuksesta KDK PAS-hanke on määritellyt tarvittavat tietoelementit; ks Aineiston paketointiohje, luku 2.4 (Yleiset vaatimukset) Tiedostomuoto-ohje, luku 5 (Tekniset metatiedot aineistomuotokohtaisesti; esim. äänitiedostoille) PAS-määritykset tarkistetaan vuosittain, mutta mitään suuria muutoksia niihin ei ole luvassa Ohjeiden ymmärtäminen edellyttää perustiedot ISO:n Open Archival Information System eli OAIS-standardista, jonka suomenkielinen versio on SFS 5972, Viitemalli pitkäaikaissäilytysarkistolle (vuodelta 2015) Suomennos määrittelee mm. sanaston, jota PAS-toiminnassa käytetään, sekä keskeiset toimijat ja heidän roolinsa PAS-metatiedot

5 Vuosikello

6 Pakolliset PAS-metatiedot
Tunnisteet Siirtopaketille (tuotetaan ohjelmallisesti) Aineistolle (dokumentille) Tiedostolle / tiedostoille Metatiedoille Huom: ei teoksen tunnistetta (vielä) Aikaleimat Siirtopaketin luonti- tai muokkausaika (tuotetaan ohjelmallisesti) Digitaalisten objektien ja metatietojen luontiaika Kuvailuformaatti KDK standardisalkku määrittelee sallitut metadataformaatit; tiedot niistä lisätään siirtopakettiin ohjelmallisesti PAS-metatiedot

7 PAS-metatiedot (2) Teknisen metatiedon elementtejä vaaditaan 2 + x:
Tiedostomuoto ja sen versio (esim. PDF 1.6) Voidaan yleensä tuottaa ohjelmallisesti Eheystieto (tarkistussumma) ja sen algoritmi Sallitut algoritmit standardisalkussa; esim. SHA-256 Tuotetaan ohjelmallisesti; tallennus käsin (?) Aineistomuotokohtaiset vaatimukset Tuotetaan ohjelmallisesti, ja ilmaistaan kunkin aineistotyypin omassa teknisen metatiedon formaatissa Äänitiedostojen AudioMD, still-kuvien MIX, liikkuvan kuvan VideoMD, tekstitiedostojen TextMD PAS-metatiedot

8 Liikkuvan kuvan tekninen metadata
<vmd:VIDEOMD xmlns:vmd=" ANALOGDIGITALFLAG="FileDigital"> <vmd:fileData> <vmd:duration>01:31:37</vmd:duration> <vmd:dataRate>8</vmd:dataRate> <vmd:bitsPerSample>24</vmd:bitsPerSample> <vmd:color>Color</vmd:color> <vmd:compression> <vmd:codecCreatorApp>SoundForge</vmd:codecCreatorApp> <vmd:codecCreatorAppVersion>10</vmd:codecCreatorAppVersion> <vmd:codecName>(:unav)</vmd:codecName> <vmd:codecQuality>lossy</vmd:codecQuality> </vmd:compression> <vmd:dataRateMode>Fixed</vmd:dataRateMode> <vmd:frame> <vmd:pixelsHorizontal>640</vmd:pixelsHorizontal> <vmd:pixelsVertical>480</vmd:pixelsVertical> <vmd:PAR>1.0</vmd:PAR> <vmd:DAR>4/3</vmd:DAR> </vmd:frame> <vmd:frameRate>24</vmd:frameRate> <vmd:sampling>4:2:2</vmd:sampling> <vmd:signalFormat>PAL</vmd:signalFormat> <vmd:sound>No</vmd:sound> </vmd:fileData> </vmd:VIDEOMD> PAS-metatiedot

9 PAS-toiminta käytännössä
Pitkäaikaissäilytys on prosessi, joka alkaa silloin kun säilytettävä dokumentti luodaan Esim. eheystieto on luotava heti, jos halutaan olla varmoja siitä, että säilytettävän dokumentin eheys voidaan taata Korkeakoulujen julkaisuarkistoissa oleva vapaakappaleaineisto voidaan haravoida Kansalliskirjastoon, joka siirtää sen edelleen PAS-sovellukseen, mutta prosessi on luotettava vain jos aineisto on alun perin kunnossa CSC tarkistaa jokaisen saapuvan siirtopaketin, ja pienikin virhe voi johtaa paketin hylkäämiseen Säilytyssopimus määrittelee eri osapuolten vastuut Esim. miten toteutetaan aineistojen ja metatiedon migraatiot PAS-metatiedot

10 PREMIS Pitkäaikaissäilytyksen metadatan formaatti; ylläpitäjä Kongressin kirjasto PREMIS-metatieto tallennetaan muiden metatietojen tavoin osaksi pitkäaikaissäilytysjärjestelmään lähetettävää siirtopakettia Kun säilytyksen aikana tapahtuu jotakin, siitä tallennetaan PAS-arkistoon PREMIS-metatietoa Kuka teki ja mitä, ja millä seurauksin Toimija voi olla henkilö tai ohjelmisto Esimerkiksi tarkka kuvaus siitä, mitä muutoksia tiedostomuodon migraatio aiheutti; sen avulla asiakkaat voivat valita itselleen ”sopivasti autenttisen” version PAS-metatiedot

11 Tarkistussumman esittäminen METS-dokumentissa PREMIS-formaatissa
mets:amdSec> <mets:techMD ID="file01-techmd" fi:CREATED=" "> <mets:mdWrap MDTYPE="PREMIS:OBJECT" MDTYPEVERSION="2.2"> <mets:xmlData> <premis:object xsi:type="premis:file"> [...] <premis:objectCharacteristics> <premis:compositionLevel>0</premis:compositionLevel> <premis:fixity> <premis:messageDigestAlgorithm> MD5 </premis:messageDigestAlgorithm> <premis:messageDigest> aa4bddaacf5ed1ca92b30826af257a1b </premis:messageDigest> </premis:fixity> </premis:objectCharacteristics> </premis:object> </mets:xmlData> </mets:mdWrap> </mets:techMD> </mets:amdSec> PAS-metatiedot

12 Lopuksi Mitään kaikenkattavaa metatietoformaattia tai kuvailusääntöjä ei ole tulossa Osittaisesta päällekkäisyydestä huolimatta valtaosa teknisestä ja pitkäaikaissäilytyksen metatiedosta on siihen erikoistuneissa formaateissa Koska hallinnollinen metadata tuotetaan pääosin ohjelmallisesti, sitä voi olla todella paljon Pitkäaikaissäilytyksen onnistuminen edellyttää metatietojen kokonaisuuden hallintaa Eheystieto eli tarkistussumma pitää laskea riittävän ajoissa, ja tallentaa niin, että se löytyy siirtopakettia luotaessa Lisätietoa: PAS-metatiedot

13 Hallinnollisen metatiedon formaatit
Kaikkien alla listattujen formaattien ylläpitovastuu on Kongressin kirjastolla, mutta käytännön työstä vastaavat yleensä Editorial Boardit, jotka ovat kansainvälisiä -> Jukka Kervinen KK:sta on METS Editorial Boardin jäsen Pitkäaikaissäilytys PREMIS Tekstitiedostot textMD Audio ja video audioMD ja videoMD Still-kuvat MIX PAS-metatiedot