Pitkäaikaissäilytyksen metatiedot Juha Hakala Kumea 2019-02-12

Yleistä Pitkäaikaissäilytyksen metatiedot ovat hallinnollisia metatietoja, kuten tekniset ja käyttöoikeuksien metatiedot Hallinnolliset metatiedot eivät ole pysyviä, toisin kuin kuvailevat metatiedot Pitkäaikaissäilytyksen metatiedot päivittyvät aina, kun säilytettävään dokumenttiin kohdistuu toimenpiteitä Kun tehdään tiedostoformaatin migraatio, tekniset metatiedot menevät täysin uusiksi MARC-formaatissa on runsaasti käyttöoikeuksien metatietoon liittyviä tietoelementtejä, jonkin verran teknisen metatiedon elementtejä, mutta niukasti pitkäaikaissäilytyksen metatietoja Luetteloija voi joutua tallentamaan myös hallinnollista metatietoa, vaikka se tuotetaan yleensä ohjelmallisesti E-aineistojen käsittelyprosessien automatisointiaste vaihtelee Oikeudet voivat siirtyä esim. tekijän perikunnalle tai sopimuksen nojalla työnantajalle. 12.2.2019 PAS-metatiedot

Pitkäaikaissäilytyksestä Suomessa OKM:n alaiset kirjastot, arkistot ja museot toimittavat e-aineistonsa pitkäaikaissäilytettäväksi CSC:llä olevaan digitaaliseen arkistoon eli PAS-järjestelmään Samaan järjestelmään tallennetaan myös tutkimusdata PAS-järjestelmään siirrettävä aineisto on paketoitava siten, että dokumentin mukana on kaikki sen säilyttämiseen tarvittava metatieto Paketointistandardi on Metadata Encoding and Transmission Standard eli METS (http://www.loc.gov/standards/mets/) XML-skeema, jolla voi tallentaa dokumentin kuvailevan, hallinnollisen ja rakenteisen metadatan ja linkit tiedostoihin CSC ylläpitää paketointipalvelua, joka helpottaa PAS-määritysten mukaisten informaatiopakettien luontia Esimerkki poikkeavasta lisenssiehdosta: yksityisarkiston aineisto on muuten vapaasti käytettävissä, mutta YLE:n toimittajille sitä ei saa antaa. 12.2.2019 PAS-metatiedot

PAS-ohjeistuksesta KDK PAS-hanke on määritellyt tarvittavat tietoelementit; ks http://www.digitalpreservation.fi/specifications Aineiston paketointiohje, luku 2.4 (Yleiset vaatimukset) Tiedostomuoto-ohje, luku 5 (Tekniset metatiedot aineistomuotokohtaisesti; esim. äänitiedostoille) PAS-määritykset tarkistetaan vuosittain, mutta mitään suuria muutoksia niihin ei ole luvassa Ohjeiden ymmärtäminen edellyttää perustiedot ISO:n Open Archival Information System eli OAIS-standardista, jonka suomenkielinen versio on SFS 5972, Viitemalli pitkäaikaissäilytysarkistolle (vuodelta 2015) Suomennos määrittelee mm. sanaston, jota PAS-toiminnassa käytetään, sekä keskeiset toimijat ja heidän roolinsa http://www.digitalpreservation.fi/specifications/sanasto 12.2.2019 PAS-metatiedot

Vuosikello

Pakolliset PAS-metatiedot Tunnisteet Siirtopaketille (tuotetaan ohjelmallisesti) Aineistolle (dokumentille) Tiedostolle / tiedostoille Metatiedoille Huom: ei teoksen tunnistetta (vielä) Aikaleimat Siirtopaketin luonti- tai muokkausaika (tuotetaan ohjelmallisesti) Digitaalisten objektien ja metatietojen luontiaika Kuvailuformaatti KDK standardisalkku määrittelee sallitut metadataformaatit; tiedot niistä lisätään siirtopakettiin ohjelmallisesti 12.2.2019 PAS-metatiedot

PAS-metatiedot (2) Teknisen metatiedon elementtejä vaaditaan 2 + x: Tiedostomuoto ja sen versio (esim. PDF 1.6) https://www.loc.gov/preservation/digital/formats/fdd/fdd000276.shtml Voidaan yleensä tuottaa ohjelmallisesti Eheystieto (tarkistussumma) ja sen algoritmi Sallitut algoritmit standardisalkussa; esim. SHA-256 https://en.wikipedia.org/wiki/SHA-2 Tuotetaan ohjelmallisesti; tallennus käsin (?) Aineistomuotokohtaiset vaatimukset Tuotetaan ohjelmallisesti, ja ilmaistaan kunkin aineistotyypin omassa teknisen metatiedon formaatissa Äänitiedostojen AudioMD, still-kuvien MIX, liikkuvan kuvan VideoMD, tekstitiedostojen TextMD 12.2.2019 PAS-metatiedot

Liikkuvan kuvan tekninen metadata <vmd:VIDEOMD xmlns:vmd="http://www.loc.gov/videoMD/" ANALOGDIGITALFLAG="FileDigital"> <vmd:fileData> <vmd:duration>01:31:37</vmd:duration> <vmd:dataRate>8</vmd:dataRate> <vmd:bitsPerSample>24</vmd:bitsPerSample> <vmd:color>Color</vmd:color> <vmd:compression> <vmd:codecCreatorApp>SoundForge</vmd:codecCreatorApp> <vmd:codecCreatorAppVersion>10</vmd:codecCreatorAppVersion> <vmd:codecName>(:unav)</vmd:codecName> <vmd:codecQuality>lossy</vmd:codecQuality> </vmd:compression> <vmd:dataRateMode>Fixed</vmd:dataRateMode> <vmd:frame> <vmd:pixelsHorizontal>640</vmd:pixelsHorizontal> <vmd:pixelsVertical>480</vmd:pixelsVertical> <vmd:PAR>1.0</vmd:PAR> <vmd:DAR>4/3</vmd:DAR> </vmd:frame> <vmd:frameRate>24</vmd:frameRate> <vmd:sampling>4:2:2</vmd:sampling> <vmd:signalFormat>PAL</vmd:signalFormat> <vmd:sound>No</vmd:sound> </vmd:fileData> </vmd:VIDEOMD> 12.2.2019 PAS-metatiedot

PAS-toiminta käytännössä Pitkäaikaissäilytys on prosessi, joka alkaa silloin kun säilytettävä dokumentti luodaan Esim. eheystieto on luotava heti, jos halutaan olla varmoja siitä, että säilytettävän dokumentin eheys voidaan taata Korkeakoulujen julkaisuarkistoissa oleva vapaakappaleaineisto voidaan haravoida Kansalliskirjastoon, joka siirtää sen edelleen PAS-sovellukseen, mutta prosessi on luotettava vain jos aineisto on alun perin kunnossa CSC tarkistaa jokaisen saapuvan siirtopaketin, ja pienikin virhe voi johtaa paketin hylkäämiseen Säilytyssopimus määrittelee eri osapuolten vastuut Esim. miten toteutetaan aineistojen ja metatiedon migraatiot 12.2.2019 PAS-metatiedot

PREMIS Pitkäaikaissäilytyksen metadatan formaatti; ylläpitäjä Kongressin kirjasto PREMIS-metatieto tallennetaan muiden metatietojen tavoin osaksi pitkäaikaissäilytysjärjestelmään lähetettävää siirtopakettia Kun säilytyksen aikana tapahtuu jotakin, siitä tallennetaan PAS-arkistoon PREMIS-metatietoa Kuka teki ja mitä, ja millä seurauksin Toimija voi olla henkilö tai ohjelmisto Esimerkiksi tarkka kuvaus siitä, mitä muutoksia tiedostomuodon migraatio aiheutti; sen avulla asiakkaat voivat valita itselleen ”sopivasti autenttisen” version 12.2.2019 PAS-metatiedot

Tarkistussumman esittäminen METS-dokumentissa PREMIS-formaatissa mets:amdSec> <mets:techMD ID="file01-techmd" fi:CREATED="2011-05-31"> <mets:mdWrap MDTYPE="PREMIS:OBJECT" MDTYPEVERSION="2.2"> <mets:xmlData> <premis:object xsi:type="premis:file"> [...] <premis:objectCharacteristics> <premis:compositionLevel>0</premis:compositionLevel> <premis:fixity> <premis:messageDigestAlgorithm> MD5 </premis:messageDigestAlgorithm> <premis:messageDigest> aa4bddaacf5ed1ca92b30826af257a1b </premis:messageDigest> </premis:fixity> </premis:objectCharacteristics> </premis:object> </mets:xmlData> </mets:mdWrap> </mets:techMD> </mets:amdSec> 12.2.2019 PAS-metatiedot

Lopuksi Mitään kaikenkattavaa metatietoformaattia tai kuvailusääntöjä ei ole tulossa Osittaisesta päällekkäisyydestä huolimatta valtaosa teknisestä ja pitkäaikaissäilytyksen metatiedosta on siihen erikoistuneissa formaateissa Koska hallinnollinen metadata tuotetaan pääosin ohjelmallisesti, sitä voi olla todella paljon Pitkäaikaissäilytyksen onnistuminen edellyttää metatietojen kokonaisuuden hallintaa Eheystieto eli tarkistussumma pitää laskea riittävän ajoissa, ja tallentaa niin, että se löytyy siirtopakettia luotaessa Lisätietoa: http://www.digitalpreservation.fi/ 12.2.2019 PAS-metatiedot

Hallinnollisen metatiedon formaatit Kaikkien alla listattujen formaattien ylläpitovastuu on Kongressin kirjastolla, mutta käytännön työstä vastaavat yleensä Editorial Boardit, jotka ovat kansainvälisiä -> Jukka Kervinen KK:sta on METS Editorial Boardin jäsen Pitkäaikaissäilytys PREMIS https://www.loc.gov/standards/premis/ Tekstitiedostot textMD https://www.loc.gov/standards/textMD/ Audio ja video audioMD ja videoMD https://www.loc.gov/standards/amdvmd/ Still-kuvat MIX http://www.loc.gov/standards/mix/ 12.2.2019 PAS-metatiedot