Replikoinnin perusteet - kuinka tietueet siirtyvät Alephista Voyageriin? Minttu Hurme / KVP, tietojärjestelmät 3.10.2013, Fennica-Melinda työpaja.

Esitys aiheesta: "Replikoinnin perusteet - kuinka tietueet siirtyvät Alephista Voyageriin? Minttu Hurme / KVP, tietojärjestelmät 3.10.2013, Fennica-Melinda työpaja."— Esityksen transkriptio:

1 Replikoinnin perusteet - kuinka tietueet siirtyvät Alephista Voyageriin? Minttu Hurme / KVP, tietojärjestelmät 3.10.2013, Fennica-Melinda työpaja

2 KIRJASTOVERKKOPALVELUT Replikoinnin perusteet  mistä replikoinnissa on kyse  replikoinnin vaiheet  miten replikointia voi säätää kirjastokohtaisesti

3 KIRJASTOVERKKOPALVELUT Mitä replikointi on  Replikointi on tapa, jolla: –Melindassa luetteloidut tietueet siirtyvät (poimitaan) paikalliskantoihin –Melindassa tietueisiin tehdyt muutokset siirtyvät paikalliskantoihin –lisäksi replikoimalla voidaan tietyissä tapauksissa myös poistaa tietue paikalliskannasta  tietueita paikalliskannasta Melindaan vietäessä puhutaan lataamisesta / loadeista

4 KIRJASTOVERKKOPALVELUT  nykyinen replikointi toimii Alephin ja Voyagerin välillä –muissa järjestelmissä toimiville paikalliskannoille tarvitaan omat versionsa  replikointi toimii KVP:ssä tuotetulla Perl-skriptillä, josta on tuotantokäytössä tällä hetkellä versio 3.5.1

5 KIRJASTOVERKKOPALVELUT Replikoinnin rajoitukset  Ei (suuriin) massamuutoksiin  Ei ole mitään tapaa jäljittää yksittäisiin kenttiin kohdistuvia muutoksia kehenkään tiettyyn tekijään tai tiettyyn tekoaikaan, joten silloin tällöin käytetty ’kirjaston oman luetteloijan tekemät muutokset’ tarkoittaa myös kaikkia muita, ennen kyseistä, oman luetteloijan tekemää muutoskertaa, tietueeseen tehtyjä muutoksia

6 KIRJASTOVERKKOPALVELUT Replikointisäännöt  paikalliskantakohtaiset ehdot seuraaville asioille –millä luetteloijatunnuksilla tehtyjen Melinda-tallennusten jälkeen tietueen muutokset replikoidaan myös paikalliskantaan –mitä kaikkia kenttiä Melindan tietueesta vastaanotetaan paikalliskantaan –mitkä paikalliskannan tietueen kentät säilytetään sellaisenaan tietuetta päivitettäessä

7 KIRJASTOVERKKOPALVELUT Aleph / Melinda 1. Muutostieto2. Tietue3. Luetteloijatieto 4. Vastintietue paikalliskannassa 5. Tietueen muokkaus 6. Bulkimport 7. Merge-kenttien määrittelyt Voyager / paikalliskanta Replikoinnin toiminta

8 KIRJASTOVERKKOPALVELUT 1. Muutostieto  replikointi hakee Alephin VST-serveriltä tiedon niistä paikalliskannan tietokantatunnuksella varustetuista tietueista, joissa on tapahtunut muutoksia edellisen kyselyn jälkeen  tietueen tunnisteen lisäksi saadaan tieto siitä onko: –tietueeseen lisätty paikalliskannan tietokantatunnus –tietue tallennettu (eli päivitetty) –tietueesta poistettu paikalliskannan tietokantatunnus

9 KIRJASTOVERKKOPALVELUT 2. Tietue  replikointi hakee muutetun tietueen Alephin X-serveriltä (Ex Libriksen web service –rajapinta) –tietue on MARCXML –muodossa –tietueessa tulevat mukana kaikki ’Aleph-kentät’ (CAT, LOW, SID, FMT jne.)

10 KIRJASTOVERKKOPALVELUT 3. Luetteloijatieto  replikointi hakee noudetun tietueen CAT-kentistä tiedon siitä, mille luetteloijatunnuksella tietue on viimeeksi tallennettu  replikointisääntöjen ja luetteloijatunnuksen perusteella muutos joko –hylätään kokonaan, tai –hyväksytään primääri- tai sekundäärimuutoksena, joita käsitellään jatkossa eri sääntöjen mukaan

11 KIRJASTOVERKKOPALVELUT 4. Vastintietue paikalliskannassa  replikointi hakee tietueen vastintietueen tunnisteen paikalliskannasta SQL-kyselyllä, ja –tallentaa saapuvan tietueen Melindan kontrollinumeron (001, SYS/bibid) FCC-prefiksillä kenttään 035 $a * –päivittää paikalliskannan tietueen kontrollinumeron (001, bibid) saapuvan tietueen kontrollinumeroksi kenttään 001 * lähiaikoina siirrytään käyttämään MARC21-formaatin mukaista, (FI-MELINDA) – prefiksillä varustettua 035 $a -kenttää

12 KIRJASTOVERKKOPALVELUT Vastintietueiden linkkaukset – Melindaan loadatut tietueet Melindan tietue: SID (source ID) –kenttä, jossa paikalliskannan tietueen kontrollinumero(bibid) ja tietokantatunnus SID__ $c 123456 $b fenni Paikalliskannan tietue: 001 –kenttä, jossa paikalliskannan tietueen kontrollinumero (bibid) 001 123456

13 KIRJASTOVERKKOPALVELUT Vastintietueiden linkkaukset – Melindasta paikalliskantaan poimitut tietueet Melindan tietue: 001 –kenttä, jossa tietueen Melindan tunniste (SYS/bibid) 001 006789123 Paikalliskannan tietue: 035a –kenttä, jossa tietueen Melindan tunniste (SYS/bibid) FCC (Finnish Central Catalogue?) –prefiksillä 035__ $a FCC00678912 * Tulevaisuudessa myös: 035__ $a (FI-MELINDA)00678912

14 KIRJASTOVERKKOPALVELUT Vastintietueiden linkkaukset – Melindasta paikalliskantaan poimitut tietueet, joiden alkuperäinen vastintietue on poistettu tuplatietuetta yhdistäessä Melindan tietue: SID –kenttä, jossa poistetun tietueen Melindan tunniste (SYS/bibid) FCC- prefiksillä sekä paikalliskannan tietokantatunnus SID__ $c FCC00678912 $b fenni Paikalliskannan tietue: 035a –kenttä, jossa alkuperäisen vastintietueen Melindan tunniste (SYS/bibid) FCC (Finnish Central Catalogue?) -prefiksillä 035__ $a FCC00678912

15 KIRJASTOVERKKOPALVELUT 5. Tietueen muokkaaminen  tietueesta poistetaan ja siinä säilytetään kenttiä ja osakenttiä paikalliskantakohtaisten replikointisääntöjen perusteella  muokkaaminen tapahtuu filtteriplugineilla, joilla on omat asetustiedostonsa

16 KIRJASTOVERKKOPALVELUT Replikoinnin filtterit versiossa 3.5.2  plugin_strip_fields — filtteri, jolla voidaan yksinkertaisesti karsia tietueesta kenttiä kenttäkoodin perusteella plugin_strip_fields  plugin_handle_579 — filtteri, jolla käsitellään tilastomerkinnän sisältävä kenttä 579 plugin_handle_579  plugin_organisation — filtteri, joka käsittelee osakenttä $5:n sisältäviä kenttiä plugin_organisation  plugin_strip_subfield_9 — filtteri, jolla karsitaan replikoinnin ohjauskomentoja sisältävät $9 osakentät plugin_strip_subfield_9  plugin_thesaurus — asiasanastofiltteri plugin_thesaurus  plugin_classification — luokitusfiltteri plugin_classification  plugin_convert_aleph_voyager — käsittelee Alephin ja Voyagerin eroavaisuuksia, mm. yhdistää Alephin pilkkomat pitkät kentät plugin_convert_aleph_voyager  plugin_remove_subfield — osakentän poistava filtteri, erityisesti tekijäkenttien syntymävuosia sisältäville $d-osakentille * plugin_remove_subfield * -merkitty uusi versiossa 3.5.2.

17 KIRJASTOVERKKOPALVELUT Replikoinnin ohjauskomennot luetteloinnissa  täydentävät paikalliskannan replikoinnin asetuksia  vaikuttavat yksittäisen tietueen yksittäisen kentän replikoitumiseen  ovat muotoa tietokantatunnus ja merkitään osakenttään $9, esimerkiksi: 080__ $a 061 $9 ALLI

18 KIRJASTOVERKKOPALVELUT  tietokantatunnus+ohjauskomento –yhdistelmät löytyvät Aleph- klientissä osakenttien automaattisten sisältövaihtoehtojen listaltaosakenttien automaattisten sisältövaihtoehtojen listalta  muiden tekemiä $9-osakenttiä ja niiden sisältämiä komentoja ei saa poistaa tietueista  osakenttä $9 ja sen sisältämät replikoinnin ohjauskomennot eivät –siirry paikalliskantoihin replikoinnissa –näy Melindan OPACin koko viite –näytössä –ole poimittavissa Melindan Z39.50/SRU -serveriltä.

19 KIRJASTOVERKKOPALVELUT Käytössä olevat ohjauskomennot  versiossa 3.5.1 käytössä seuraavat ohjauskomennot: – - säilyttää kentän, vaikka paikalliskannan filtterit karsisivat sen normaalisti – - karsii kentän, vaikka paikalliskannan filtterit säilyttäisivtä sen normaalisti

20 KIRJASTOVERKKOPALVELUT Ohjauskomentoja tulossa  - osakentän $5 tietokanta/organisaatiotunnusta vastaava ohjauskomento niille kentillä, joissa osakenttää $5 ei MARC 21:n mukaan käytetä –säilyttää kentän sen paikalliskannan replikoinnissa, joka käyttää komentoa –karsii kentän kaikkien muiden paikalliskantojen replikoinnissa

21 KIRJASTOVERKKOPALVELUT 6. Bulkimport  replikointi tallentaa saapuvan tietueen MARC 21 –vaihtomuodossa scratch –hakemistoon  tietue tallennetaan paikalliskantaan Voyagerin bulkimport –skriptillä –bulkimportista voidaan tehdä replikointia varten oma versio, joka tallentaa loki- ja väliaikaistiedostonsa replikoinnin omaan rpt –hakemistoon  tietueiden lisäykset, muutokset ja poistot ajetaan eri bulkimport – asetuksilla –myös primääri- ja sekundäärimuutoksille voidaan määritellä erilliset bulkimport -asetukset

22 KIRJASTOVERKKOPALVELUT Bulkimportin tuplakontrollisääntö  replikoinnin käyttämissä bulkimportin asetuksissa riittää tuplakontrolliksi tietueen kontrollinumero (001, bibid), koska replikointi on päivittänyt sen saapuvassa tietueessa paikalliskannan tietuetta vastaavaksi

23 KIRJASTOVERKKOPALVELUT 7. Bulkimportin tuplakontrollisäännön merge-kentät  bulkimportin käyttämän tuplakontrollisäännön asetuksissa voidaan määritellä ne kentät (merge-kentät), joiden halutaan säilyvät paikalliskannnan tietueessa sellaisinaan aina replikoinnin päivittäessä tietuetta –jos kenttä on replikoinnissa karsittu filtterillä kokonaan, Melindassa tehdyt muutokset eivät vaikuta siihen mitenkään –jos kenttää ei ole replikoinnissa karsittu, paikalliskannassa olevan säilytettävän version rinnalle päivittyvät myös Melindassa muutetut/lisätyt versiot

24 KIRJASTOVERKKOPALVELUT Aleph / Melinda 1. Muutostieto2. Tietue3. Luetteloijatieto 4. Vastintietue paikalliskannassa 5. Tietueen muokkaus 6. Bulkimport 7. Merge-kenttien määrittelyt Voyager / paikalliskanta Replikoinnin toiminta

25 KIRJASTOVERKKOPALVELUT Replikointi ja tietueiden poistaminen  kun Melindan tietueesta poistetaan paikalliskannan tietokantatunnus, replikointi yrittää poistaa tietueen myös paikalliskannasta, mutta: –jos tietue on poistettu Melindasta kokonaan, tai siitä on poistettu paikalliskannan SID-kenttä, ei replikoinnilla ole tarpeellisia tietoja vastintietueen löytämiseksi paikalliskannasta –bulkimport poistaa bibliografisen tietueen paikalliskannasta vain, jos siihen ei liity holdings- tai nidetietueita tai esimerkiksi hankinnan tietoja

26 KIRJASTOVERKKOPALVELUT Miksi tietue ei replikoidu?  replikointi on kaatunut kokonaan  replikoinnissa on jonoa  tietueessa jotain vikaa (esim. väärä merkistökoodi) –joko replikointi tai bulkimport hylkää tietueen  bulkimport löytää useamman vastintietueen  tietue on jäänyt replikoitumatta tietokantatunnusta lisättäessä, jolloin muutoksille ei löydy vastintietuetta –korjattavissa poistamalla ja palauttamalla LOW-tag

27 KIRJASTOVERKKOPALVELUT Tulossa replikointiin  uusia filttereitä ja ohjauskomentoja  osakohteiden replikointi  auktoriteettitietueiden replikointi  replikointiratkaisuja muihin paikallisjärjestelmiin

28 KIRJASTOVERKKOPALVELUT Replikoinnin dokumentaatio Metiva-wikissä  https://wiki.helsinki.fi/display/Metiva/Replikointi https://wiki.helsinki.fi/display/Metiva/Replikointi –Replikoinnin asetuksetReplikoinnin asetukset –Kenttien käyttäytyminen replikoinnissa ja Voyagerin bulk importissaKenttien käyttäytyminen replikoinnissa ja Voyagerin bulk importissa –Replikoinnin filtteröintipluginitReplikoinnin filtteröintipluginit –Replikoinnin ohjauskomentojen käyttö luetteloinnissaReplikoinnin ohjauskomentojen käyttö luetteloinnissa –Bulkimport Rule replikointia vartenBulkimport Rule replikointia varten

29 KIRJASTOVERKKOPALVELUT Kysymyksiä? Kommentteja? melinda-posti@helsinki.fi

30 Fennican replikointiasetukset, tilanne 3.10.2013 Minttu Hurme / KVP, tietojärjestelmät 3.10.2013, Fennica-Melinda työpaja

31 KIRJASTOVERKKOPALVELUT  selvitys Fennican tämänhetkisistä replikointisäännöistä  tehty tukemaan ennakkotietojen tekemistä Melindassa ja niiden replikoitumista Fennicaan  ennen muun luetteloinnin siirtymistä Melindaan replikointisääntöjä tulee päivittää

32 KIRJASTOVERKKOPALVELUT Replikoitumisehdot  tietueiden lisäykset ja päivitykset replikoituvat Melindasta Fennicaan vain, jos tietue on Melindassa viimeeksi tallennettu FENNI-alkuisella luetteloijatunnukset  replikointi ei koskaan yritäkään poistaa tietuetta Fennicasta

33 KIRJASTOVERKKOPALVELUT Filtterit tietuelisäyksissä ja päivityksissä  plugin_handle_579 –579 $aXLUETTELOITU –kenttä säilytetään vain, jos sen osakentässä $b on tietokantatunnus fenni  plugin_organisation –kentät, joissa on osakenttä $5 säilytetään vain, jos osakentässä $5 on Fennican tietokantatunnus FENNI tai ISIL-tunnus FI-NL  plugin_strip_subfield_9 –replikoinnin ohjauskomentoja sisältävät osakentät $9 karsitaan

34 KIRJASTOVERKKOPALVELUT ja lisäksi päivityksissä  plugin_strip_fields plugin_strip_fields_mod1 –tietueesta karsitaan kaikki kentät, joissa on osakentässä $9 replikoinnin ohjauskomento FENNI –tietueesta karsitaan kentät  583, 594,  600, 610, 611, 630, 648, 650, 651, 653, 654, 655, 656, 657, 658, 662,  901, 902, 903, 904, 905, 906, 935,  jos niissä ei ole osakentässä $9 replikoinnin ohjauskomentoa FENNI

35 KIRJASTOVERKKOPALVELUT Mergesäännöt  Tietueen replikoituessa Fennican tietueesta säilytetään seuraavat kentät –020 022 024 –222 –500 583 594 –600 610 611 630 648 650 651 653 654 655 656 657 658 662 –901 902 903 904 905 906 935

36 KIRJASTOVERKKOPALVELUT Yhteenveto Tietueen replikoituessa se muokkaantuu Fennicassa Melindassa tehtyjen muutosten mukaiseksi seuraavia, replikointisäännöissä erikseen säänneltyjä tapauksia lukuunottamatta:  Melindassa tehdyt lisäykset replikoituvat Fennicaan, mutta myös Fennicassa olevat versiot kentästä säilyvät, kunnes niitä muokataan Fennicassa: –020, 022, 024, 222, 500 –583, 594, 6XX, 90X, 945 (jos Melindassa kentässä replikoinnin ohjauskomento FENNI )

37 KIRJASTOVERKKOPALVELUT  Melindassa tehdyt muutokset eivät vaikuta kenttään lainkaan:  583, 594, 6XX, 90X, 945 (ilman replikoinnin ohjauskomentoja)  Fennicaan eivät myöskään replikoidu sellaiset yksittäiset kentät, –joissa on osakentässä $9 replikoinnin ohjauskomento FENNI, tai –osakentässä $5 jokin muu tietokanta/ISIL-tunnus kuin FENNI/FI-NL