Digitaalisten aineistojen pitkäaikaissäilytys KDK-hankkeessa Luonnontieteiden digitointiseminaari 17.11.2011 Kuisma Lehtonen www.kdk2011.fi

Tieteen tietotekniikan keskus CSC 17.11.2011 Tieteen tietotekniikan keskus CSC Valtion omistama ja opetus- ja kulttuuriministeriön hallinnoima, voittoa tavoittelematon osakeyhtiö Liitti Suomen internetiin 1988 Työntekijöitä noin 220 (henkilöstömäärä tasaisessa kasvussa) Toimitilat Espoon Keilaniemessä, lähellä Otaniemen kampusta Toiminnan päämääriä: Tutkimuksen ja tuotekehityksen toimintaedellytysten parantaminen Kansallisten keskitettyjen palvelujen tarjoaminen, joita ei ole tarkoituksenmukaista toteuttaa hajautetusti Kansainvälisesti kilpailukykyisten tieteen tietotekniikan palvelujen tuottaminen www.kdk.fi www.kdk2011.fi

Tieteen tietotekniikan keskus CSC 17.11.2011 Tieteen tietotekniikan keskus CSC http://www.ode-project.eu http://www.aparsen.eu http://www.eudat.eu www.kdk.fi www.kdk2011.fi

Pitkäaikaissäilytys (PAS) Mikä? Miksi? Miten? 17.11.2011 Pitkäaikaissäilytys (PAS) Mikä? Miksi? Miten? www.kdk.fi www.kdk2011.fi

17.11.2011 Mikä PAS? www.kdk.fi www.kdk2011.fi

7.12.2010 KDK-organisaatio www.kdk.fi www.kdk2011.fi

KDK PAS suunnittelu- ja toteuttamishanke Tilaaja: opetus- ja kulttuuriministeriö Toteuttaja: CSC – Tieteen tietotekniikan keskus Oy Kesto: 1.6.2010 – 31.12.2013 Tavoite: Edistää KDK:n pitkäaikaissäilytyksen suunnittelua ja tuottaa pitkäaikaissäilytyksen yksityiskohtainen toteuttamissuunnitelma marraskuuhun 2011 mennessä sekä edistää yhteistoimintaa KDK:n pitkäaikaissäilytyksen tavoitteiden ja painopisteiden toteutumiseksi www.kdk.fi

KDK PAS Tukiryhmä Jäsenet: Tuomas Alaterä, Yhteiskuntatieteellinen tietoarkisto Juha Hakala, Kansalliskirjasto Vesa Hongisto, Museovirasto Minna Karvonen, opetus- ja kulttuuriministeriö Istvan Kecskeméti, Kansallisarkisto Esa-Pekka Keskitalo, Kansalliskirjasto Johan Kylander, Svenska Litteratursällskapet I Finland SLS Markus Merenmies, Kansallisarkisto Kari Peiponen, Valtion taidemuseo Pekka Tähtinen, Kansallinen audiovisuaalinen arkisto CSC toimii tukiryhmän puheenjohtajana (Kimmo Koivunen) ja sihteerinä (Kuisma Lehtonen) www.kdk2011.fi

KDK PAS suunnittelu- ja toteuttamishanke Pitkäaikaissäilytysjärjestelmä on palvelujärjestelmä, johon opetus- ja kulttuuriministeriön hallinnonalalla toimivat, kulttuuriperintöä säilyttävät organisaatiot siirtävät pitkäaikaisesti tai pysyvästi säilytettäviä aineistoja. Aineistot säilyvät myös pitkäaikaissäilytysjärjestelmässä tallentavien organisaatioiden aineistoina. Tavoitteena on, että pitkäaikaissäilytysratkaisu otettaisiin käyttöön vuonna 2016. www.kdk.fi

KDK PAS suunnittelu- ja toteuttamishanke PAS-järjestelmä rakennetaan skaalautumaan aineisto- ja organisaatiomäärien kasvuun ja monimuotoistumiseen sekä mahdolliseen kehittymiseen tutkimuksen tietoaineistojen säilytysjärjestelmäksi. Tutkimuksen tietoinfrastruktuurin kehitystyötä edistetään keskitetyllä tallennuspalveluratkaisulla ja tukemalla metatiedon tuottamista sekä yhdenmukaistamalla tietoaineistojen tuottamiseen ja ylläpitämiseen liittyviä prosesseja. www.kdk.fi

17.11.2011 Miksi PAS? www.kdk.fi www.kdk2011.fi

Miksi PAS? Lainsäädännön eri sektoreilla on määritelty kulttuuriaineistoja ja asiakirjallisia aineistoja sekä museokokoelmien muodostamista, hallintaa, saatavilla pitoa ja säilyttämistä koskevat velvoitteet. Velvoitteet koskevat myös alkujaan digitaalista sekä digitoitua aineistoa. www.kdk.fi

Miksi PAS? Pitkäaikaissäilytys tarkoittaa digitaalisen informaation luotettavaa säilyttämistä useiden kymmenien tai jopa satojen vuosien ajan. Laitteet, ohjelmistot ja tiedostomuodot vanhenevat, mutta informaation täytyy säilyä esityskelpoisena ja ymmärrettävänä. www.kdk.fi

Miksi PAS? Tarvitaan teknisiä, toiminnallisia, tiedollisia, taidollisia, taloudellisia ja juridisia valmiuksia. Näiden valmiuksien hankkimiseen, ylläpitämiseen ja kehittämiseen ei suurimmalla osalla arkistoista, kirjastoista ja museoista ole itsenäisesti mahdollisuutta. Tarvitaan suunnitelmia siitä, mitä ylläpitotoimia aineistolle on tehtävä, jotta aineisto säilyy ehyenä ja alkuperäisenä ja jotta tietojen käytettävyys sekä luotettavuus voidaan varmistaa myös tuleville sukupolville. www.kdk.fi

Arviot aineistojen laajuudesta vuoden 2011 kartoituksessa KDK:n digitaaliset aineistot Digitaalisten aineistojen laajuus ja säilytysmenetelmät Arviot aineistojen laajuudesta vuoden 2011 kartoituksessa 2010 2011 2015 2020 Objektien määrä (milj. kpl) Koko (Tt) Objektien määrä (milj.kpl) Asiakirjat ja dokumentit 11,6 328 15,4 394 25,6 646 48,7 1301 Valokuvat 1,7 18 2,1 30 3,9 68 6,1 120 Elokuvat 0,1 495 0,2 1143 0,8 3055 1,2 8020 Äänitallenteet 606 1,5 771 2,4 1418 3,7 2176 Viitetiedot 19,5 21 27 34 3,4 Verkkoarkisto 496 20 1396 59 2300 97 Radio- ja TV- arkisto 95 142 2,9 327 5,0 558 YHTEENSÄ 530 1 563 687 2 509 1458 5 575 2400 12 275 www.kdk.fi

17.11.2011 Miten PAS? www.kdk.fi www.kdk2011.fi

Uhat ja niihin varautuminen Säilytysmedian viat Datasta useampi kopio erilaisilla medioilla Toimittajakohtaiset systemaattiset viat Datasta kopiot eri toimittajien ratkaisussa Toiminnallinen tai hallinnollinen virhe Data hallinnoidaan vähintään kahdessa järjestelmässä Luonnonkatastrofit Säilytys toteutetaan maantieteellisesti hajautettuna Pahantahtoinen käyttäjä Säilytystä varmennetaan ns. pimeällä arkistolla Osaamisen ja henkilöstön riittämättömyys Toimintaa keskittämällä ja suunnitelmallisuudella varmistetaan osaamisen kehittyminen ja riittävä henkilöstö www.kdk.fi

Yleiset vaatimukset pitkäaikaissäilytyksen tekniikalle Järjestelmässä ei saa olla yksittäistä kohtaa, jonka pettäessä koko järjestelmä pettää (single point of failure) Koskee erityisesti elintärkeitä osioita Järjestelmän täytyy toimia, vaikka mediat, ohjelmistot ja laitteistot vaihtuvat tasaisena virtana Järjestelmän täytyy tukea erilaisuutta ja välttää lukkiutumista tiettyjen laite- tai ohjelmistotoimittajien ratkaisuihin Järjestelmän täytyy jatkuvasti seurata tietopakettien eheyttä Järjestelmässä on aineistoa, jota käytetään harvoin, mikä aiheuttaa suuren riskin piilevien virheiden kerääntymiseen Järjestelmän ylläpitotoimet on oltava mahdollisia ilman käyttökatkoja www.kdk.fi

Säilyttämisen vaatimuksia Alkuperäisen käyttökokemuksen säilyttäminen Vaativin, mutta käyttäjän kannalta mielenkiintoisin Esim. Tietokonepelin pelaaminen samoin kuin 30 vuotta sitten Sisällön ymmärrettävyyden säilyttäminen Teksti, kuvat ja muu olennainen sisältö voidaan tulkita ja ymmärtää myös tulevaisuudessa Käytön ja uuden tiedon tuottamisen kannalta yleensä tärkein vaatimus Bittien säilyttäminen Varmistetaan alkuperäisten ykkösten ja nollien säilyminen ja luettavuus, sisällön tulkinnasta ei takeita Pitkäaikaissäilyttämisen perusedellytys, joka ei vielä takaa aineistojen hyödynnettävyyttä pitkällä aikavälillä www.kdk.fi

Säilyttämisen menetelmiä Alkuperäisen käyttökokemuksen säilyttäminen Emulaatio Emulaattoreiden kehittäminen uusille alustoille, formaattien seuranta jne. Aktiivinen testaaminen ja seuranta Sisällön ymmärrettävyyden säilyttäminen Migraatio Edellytyksenä aineistolle tarvittavat metatiedot ja säilytyssuunnitelma Toimintaympäristön kehityksen seuraaminen Muunnosten kehittäminen, testaaminen, toteuttaminen ja valvonta Bittien säilyttäminen Eheyden varmistaminen Tiedostojen validointi ja valvonta Kopioiden hallinta Koskee sekä objekteja että metatietoja www.kdk.fi

KDK:n PAS-tavoitteet Varmistaa digitaalisten kulttuuriaineistojen säilyvyys Hyödyntävät organisaatiot voivat suoriutua lain velvoitteista Varmistaa aineistojen hyödynnettävyys ja yhteiskäyttö Aineistot varustetaan olennaisilla metatiedoilla Aineistojen kuvailut yhtenäistetään Laatia kokonaisuus kustannustehokkaasti Yhteisen ratkaisun tuomat kustannussäästöt Aineistojen säilytyksen hallinnan kustannussäästöt Digitoitujen aineistojen säilyvyyden tuomat kustannussäästöt Edistää organisaatioiden yhteistyötä Kehitetään yhteisiä toimintatapoja ja parhaita käytäntöjä Rakentaa avoimella yhteistyöllä parempia palveluita PAS-ratkaisua rakennetaan yhdessä mukana olevien organisaatioiden kanssa, josta siirrytään vähitellen vakiintuneeseen ja avoimeen yhteistyöhön Laajentua erilaisille aineistoille Tutkimuksen tietoaineistot www.kdk.fi

Open Archival Information System (OAIS) -viitemalli www.kdk.fi

Säilytyksen suunnittelu Säilyttämisen vaatimusten määritteleminen Menetelmä (tai prosessi) säilytyksen tavoitteiden ja reunaehtojen määrittelemiseksi ennen säilyttämisen aloittamista Tuottaa jokaiselle objektille säilytyssuunnitelman, joka mahdollistaa operatiivisen säilytystoiminnan pitkällä aikavälillä Toimintaympäristön muutoksien seurannan avulla havaitaan tarpeet, esim.: Säilytystoimenpiteiden käynnistämiseen Säilytyssuunnitelman uuteen arviointiin Vaihtoehtojen määritteleminen Tulosten arvioiminen Suoritettavan säilytyssuunnitelman määritteleminen www.kdk.fi

Aineiston valmistelu KDK:ssa käytettävät standardit, tiedostomuodot sekä pakolliset ja suositeltavat metadatat määritellään standardisalkussa Standardisalkun mukaisesti aineisto siirretään taustajärjestelmästä PAS-järjestelmään käyttäen metatiedon koodaus- ja siirtostandardia (METS) www.kdk.fi

KDK METS-profiili www.kdk.fi

METS-dokumentti www.kdk.fi

KDK:n säilytys- ja siirtokelpoiset tiedostomuodot Säilytyskelpoiset tiedostomuodot Tietosisällön säilyminen ja ymmärrettävyys voidaan taata pidemmällä aikavälillä Siirtokelpoiset tiedostomuodot Käytetään useassa KDK:n PAS-järjestelmää hyödyntävässä organisaatiossa ja joissa pitkäaikaissäilytettävää aineistoa on runsaasti tallennettu PAS-järjestelmä muuntaa säilytyskelpoiseen tiedostomuotoon Esimerkki säilytyskelpoisesta tiedostomuodosta: Extensible Markup Language (XML) XML on alustariippumaton SGML:stä johdettu merkintäkieli. W3C:n suosittelema XML kuvaa dokumentin loogisen rakenteen, mutta ei sen ulkoasua. Hyväksyttävät versiot: XML versio 1.0; [XML_1.0]; PRONOM: fmt/101 (Lähdeluettelo) [XML_1.0] Extensible Markup Language (XML) 1.0 (Fifth Edition. W3C Recommendation 26 November 2008. http://www.w3.org/TR/xml/ www.kdk.fi

KDK:n säilytys- ja siirtokelpoiset tiedostomuodot Arviointikriteerit ja arviointiasteikko Avoimuus Kuinka helppoa tiedostomuodosta on saada tietoja? Käyttö PAS-standardina Missä määrin tiedostomuoto on muodollisesti hyväksytty pitkäaikaissäilytyksen välineeksi kansalliskirjastoissa, kansallisarkistoissa ja muissa alan laitoksissa? Vakaus / yhteensopivuus (a) Missä määrin tiedostomuoto on eteen- ja taaksepäin yhteensopiva? (b) Missä määrin tiedostomuoto on suojattu tiedoston korruptoitumista vastaan? (c) Kuinka usein tiedostomuodosta julkaistaan korvaavia versioita? Riippuvuudet / yhteentoimivuus Missä määrin tiedostomuoto on sidottu esimerkiksi tiettyyn laitteistoon tai ohjelmistoon? Standardisuus Missä määrin tiedostomuoto on käynyt läpi perusteellisen standardointiprosessin? A Arviointikriteeri täyttyy hyvin A€ Arviointikriteeri täyttyy hyvin; siihen liittyy kuitenkin kuluja (esim. maksullinen dokumentaatio) B Arviointikriteeri täyttyy kohtalaisesti C Arviointikriteeri ei täyty A/C Arviointikriteeri täyttyy hyvin yhdellä sektorilla (esim. elektroniset vapaakappaleet) muttei toisella sektorilla (esim. asiakirja-aineisto) A/B Arviointikriteeri täyttyy hyvin yhdellä sektorilla (esim. elektroniset vapaakappaleet) mutta vain kohtalaisesti toisella sektorilla (esim. asiakirja-aineisto) www.kdk.fi

KDK:n säilytys- ja siirtokelpoiset tiedostomuodot Sisältö Tiedostomuoto Avoimuuss Käyttö PAS-standardina Vakaus / Yhteensopivuus Riippumattomuus / yhteentoimivuus Standardisuus Alas-/ylöspäin yhteensopivuuden taso Korruptoitumisen sieto Versiopäivi­tysten määrä TEKSTI Electronic Publications (EPUB) A B Extensible Hypertext Markup Language (XHTML) Extensible Markup Language (XML) Hypertext Markup Language (HTML) Open Document Format (ODF) PDF for long-term preservation (PDF/A) A€ Tekstitiedosto (plain text) ÄÄNI Audio Interchange File Format (AIFF), PCM-koodattu Broadcast Wave Format (BWF) Free Lossless Audio Codec (FLAC) MPEG-4 AAC – Advanced Audio Coding (AAC) Waveform Audio Format (WAV) ELÄVÄ KUVA Motion JPEG 2000 KUVA Joint photographic experts group (JPEG) Joint photographic experts group jpeg 2000 (JP2) Tagged image file format (TIFF) VERKKOARKISTO Web Archive Format (WARC) TIETOKANNAT Määritellään myöhemmin

KDK PAS Toteutuksen vaiheistaminen PAS-ratkaisun valmistelu 2011-2013 VAIHE 2: PAS-ratkaisun toteuttaminen 2014-2016 www.kdk.fi

KDK PAS lisätietoa http://www.kdk.fi/fi/pitkaaikaissailytys KDK:n hallinnolliset ja rakenteelliset metatiedot ja aineistojen paketointi Säilytys- ja siirtokelpoiset tiedostomuodot Digitaalisten aineistojen laajuus ja säilytysmenetelmät Hyöty- ja kustannusanalyysi Toteuttamissuunnitelma (tulossa 2011) www.kdk.fi

Kiitos! www.kdk.fi