Replikoinnin perusteet - kuinka tietueet siirtyvät Alephista Voyageriin? Minttu Hurme / KVP, tietojärjestelmät , Fennica-Melinda työpaja

KIRJASTOVERKKOPALVELUT Replikoinnin perusteet  mistä replikoinnissa on kyse  replikoinnin vaiheet  miten replikointia voi säätää kirjastokohtaisesti

KIRJASTOVERKKOPALVELUT Mitä replikointi on  Replikointi on tapa, jolla: –Melindassa luetteloidut tietueet siirtyvät (poimitaan) paikalliskantoihin –Melindassa tietueisiin tehdyt muutokset siirtyvät paikalliskantoihin –lisäksi replikoimalla voidaan tietyissä tapauksissa myös poistaa tietue paikalliskannasta  tietueita paikalliskannasta Melindaan vietäessä puhutaan lataamisesta / loadeista

KIRJASTOVERKKOPALVELUT  nykyinen replikointi toimii Alephin ja Voyagerin välillä –muissa järjestelmissä toimiville paikalliskannoille tarvitaan omat versionsa  replikointi toimii KVP:ssä tuotetulla Perl-skriptillä, josta on tuotantokäytössä tällä hetkellä versio 3.5.1

KIRJASTOVERKKOPALVELUT Replikoinnin rajoitukset  Ei (suuriin) massamuutoksiin  Ei ole mitään tapaa jäljittää yksittäisiin kenttiin kohdistuvia muutoksia kehenkään tiettyyn tekijään tai tiettyyn tekoaikaan, joten silloin tällöin käytetty ’kirjaston oman luetteloijan tekemät muutokset’ tarkoittaa myös kaikkia muita, ennen kyseistä, oman luetteloijan tekemää muutoskertaa, tietueeseen tehtyjä muutoksia

KIRJASTOVERKKOPALVELUT Replikointisäännöt  paikalliskantakohtaiset ehdot seuraaville asioille –millä luetteloijatunnuksilla tehtyjen Melinda-tallennusten jälkeen tietueen muutokset replikoidaan myös paikalliskantaan –mitä kaikkia kenttiä Melindan tietueesta vastaanotetaan paikalliskantaan –mitkä paikalliskannan tietueen kentät säilytetään sellaisenaan tietuetta päivitettäessä

KIRJASTOVERKKOPALVELUT Aleph / Melinda 1. Muutostieto2. Tietue3. Luetteloijatieto 4. Vastintietue paikalliskannassa 5. Tietueen muokkaus 6. Bulkimport 7. Merge-kenttien määrittelyt Voyager / paikalliskanta Replikoinnin toiminta

KIRJASTOVERKKOPALVELUT 1. Muutostieto  replikointi hakee Alephin VST-serveriltä tiedon niistä paikalliskannan tietokantatunnuksella varustetuista tietueista, joissa on tapahtunut muutoksia edellisen kyselyn jälkeen  tietueen tunnisteen lisäksi saadaan tieto siitä onko: –tietueeseen lisätty paikalliskannan tietokantatunnus –tietue tallennettu (eli päivitetty) –tietueesta poistettu paikalliskannan tietokantatunnus

KIRJASTOVERKKOPALVELUT 2. Tietue  replikointi hakee muutetun tietueen Alephin X-serveriltä (Ex Libriksen web service –rajapinta) –tietue on MARCXML –muodossa –tietueessa tulevat mukana kaikki ’Aleph-kentät’ (CAT, LOW, SID, FMT jne.)

KIRJASTOVERKKOPALVELUT 3. Luetteloijatieto  replikointi hakee noudetun tietueen CAT-kentistä tiedon siitä, mille luetteloijatunnuksella tietue on viimeeksi tallennettu  replikointisääntöjen ja luetteloijatunnuksen perusteella muutos joko –hylätään kokonaan, tai –hyväksytään primääri- tai sekundäärimuutoksena, joita käsitellään jatkossa eri sääntöjen mukaan

KIRJASTOVERKKOPALVELUT 4. Vastintietue paikalliskannassa  replikointi hakee tietueen vastintietueen tunnisteen paikalliskannasta SQL-kyselyllä, ja –tallentaa saapuvan tietueen Melindan kontrollinumeron (001, SYS/bibid) FCC-prefiksillä kenttään 035 $a * –päivittää paikalliskannan tietueen kontrollinumeron (001, bibid) saapuvan tietueen kontrollinumeroksi kenttään 001 * lähiaikoina siirrytään käyttämään MARC21-formaatin mukaista, (FI-MELINDA) – prefiksillä varustettua 035 $a -kenttää

KIRJASTOVERKKOPALVELUT Vastintietueiden linkkaukset – Melindaan loadatut tietueet Melindan tietue: SID (source ID) –kenttä, jossa paikalliskannan tietueen kontrollinumero(bibid) ja tietokantatunnus SID__ $c $b fenni Paikalliskannan tietue: 001 –kenttä, jossa paikalliskannan tietueen kontrollinumero (bibid)

KIRJASTOVERKKOPALVELUT Vastintietueiden linkkaukset – Melindasta paikalliskantaan poimitut tietueet Melindan tietue: 001 –kenttä, jossa tietueen Melindan tunniste (SYS/bibid) Paikalliskannan tietue: 035a –kenttä, jossa tietueen Melindan tunniste (SYS/bibid) FCC (Finnish Central Catalogue?) –prefiksillä 035__ $a FCC * Tulevaisuudessa myös: 035__ $a (FI-MELINDA)

KIRJASTOVERKKOPALVELUT Vastintietueiden linkkaukset – Melindasta paikalliskantaan poimitut tietueet, joiden alkuperäinen vastintietue on poistettu tuplatietuetta yhdistäessä Melindan tietue: SID –kenttä, jossa poistetun tietueen Melindan tunniste (SYS/bibid) FCC- prefiksillä sekä paikalliskannan tietokantatunnus SID__ $c FCC $b fenni Paikalliskannan tietue: 035a –kenttä, jossa alkuperäisen vastintietueen Melindan tunniste (SYS/bibid) FCC (Finnish Central Catalogue?) -prefiksillä 035__ $a FCC

KIRJASTOVERKKOPALVELUT 5. Tietueen muokkaaminen  tietueesta poistetaan ja siinä säilytetään kenttiä ja osakenttiä paikalliskantakohtaisten replikointisääntöjen perusteella  muokkaaminen tapahtuu filtteriplugineilla, joilla on omat asetustiedostonsa

KIRJASTOVERKKOPALVELUT Replikoinnin filtterit versiossa  plugin_strip_fields — filtteri, jolla voidaan yksinkertaisesti karsia tietueesta kenttiä kenttäkoodin perusteella plugin_strip_fields  plugin_handle_579 — filtteri, jolla käsitellään tilastomerkinnän sisältävä kenttä 579 plugin_handle_579  plugin_organisation — filtteri, joka käsittelee osakenttä $5:n sisältäviä kenttiä plugin_organisation  plugin_strip_subfield_9 — filtteri, jolla karsitaan replikoinnin ohjauskomentoja sisältävät $9 osakentät plugin_strip_subfield_9  plugin_thesaurus — asiasanastofiltteri plugin_thesaurus  plugin_classification — luokitusfiltteri plugin_classification  plugin_convert_aleph_voyager — käsittelee Alephin ja Voyagerin eroavaisuuksia, mm. yhdistää Alephin pilkkomat pitkät kentät plugin_convert_aleph_voyager  plugin_remove_subfield — osakentän poistava filtteri, erityisesti tekijäkenttien syntymävuosia sisältäville $d-osakentille * plugin_remove_subfield * -merkitty uusi versiossa

KIRJASTOVERKKOPALVELUT Replikoinnin ohjauskomennot luetteloinnissa  täydentävät paikalliskannan replikoinnin asetuksia  vaikuttavat yksittäisen tietueen yksittäisen kentän replikoitumiseen  ovat muotoa tietokantatunnus ja merkitään osakenttään $9, esimerkiksi: 080__ $a 061 $9 ALLI

KIRJASTOVERKKOPALVELUT  tietokantatunnus+ohjauskomento –yhdistelmät löytyvät Aleph- klientissä osakenttien automaattisten sisältövaihtoehtojen listaltaosakenttien automaattisten sisältövaihtoehtojen listalta  muiden tekemiä $9-osakenttiä ja niiden sisältämiä komentoja ei saa poistaa tietueista  osakenttä $9 ja sen sisältämät replikoinnin ohjauskomennot eivät –siirry paikalliskantoihin replikoinnissa –näy Melindan OPACin koko viite –näytössä –ole poimittavissa Melindan Z39.50/SRU -serveriltä.

KIRJASTOVERKKOPALVELUT Käytössä olevat ohjauskomennot  versiossa käytössä seuraavat ohjauskomennot: – - säilyttää kentän, vaikka paikalliskannan filtterit karsisivat sen normaalisti – - karsii kentän, vaikka paikalliskannan filtterit säilyttäisivtä sen normaalisti

KIRJASTOVERKKOPALVELUT Ohjauskomentoja tulossa  - osakentän $5 tietokanta/organisaatiotunnusta vastaava ohjauskomento niille kentillä, joissa osakenttää $5 ei MARC 21:n mukaan käytetä –säilyttää kentän sen paikalliskannan replikoinnissa, joka käyttää komentoa –karsii kentän kaikkien muiden paikalliskantojen replikoinnissa

KIRJASTOVERKKOPALVELUT 6. Bulkimport  replikointi tallentaa saapuvan tietueen MARC 21 –vaihtomuodossa scratch –hakemistoon  tietue tallennetaan paikalliskantaan Voyagerin bulkimport –skriptillä –bulkimportista voidaan tehdä replikointia varten oma versio, joka tallentaa loki- ja väliaikaistiedostonsa replikoinnin omaan rpt –hakemistoon  tietueiden lisäykset, muutokset ja poistot ajetaan eri bulkimport – asetuksilla –myös primääri- ja sekundäärimuutoksille voidaan määritellä erilliset bulkimport -asetukset

KIRJASTOVERKKOPALVELUT Bulkimportin tuplakontrollisääntö  replikoinnin käyttämissä bulkimportin asetuksissa riittää tuplakontrolliksi tietueen kontrollinumero (001, bibid), koska replikointi on päivittänyt sen saapuvassa tietueessa paikalliskannan tietuetta vastaavaksi

KIRJASTOVERKKOPALVELUT 7. Bulkimportin tuplakontrollisäännön merge-kentät  bulkimportin käyttämän tuplakontrollisäännön asetuksissa voidaan määritellä ne kentät (merge-kentät), joiden halutaan säilyvät paikalliskannnan tietueessa sellaisinaan aina replikoinnin päivittäessä tietuetta –jos kenttä on replikoinnissa karsittu filtterillä kokonaan, Melindassa tehdyt muutokset eivät vaikuta siihen mitenkään –jos kenttää ei ole replikoinnissa karsittu, paikalliskannassa olevan säilytettävän version rinnalle päivittyvät myös Melindassa muutetut/lisätyt versiot

KIRJASTOVERKKOPALVELUT Aleph / Melinda 1. Muutostieto2. Tietue3. Luetteloijatieto 4. Vastintietue paikalliskannassa 5. Tietueen muokkaus 6. Bulkimport 7. Merge-kenttien määrittelyt Voyager / paikalliskanta Replikoinnin toiminta

KIRJASTOVERKKOPALVELUT Replikointi ja tietueiden poistaminen  kun Melindan tietueesta poistetaan paikalliskannan tietokantatunnus, replikointi yrittää poistaa tietueen myös paikalliskannasta, mutta: –jos tietue on poistettu Melindasta kokonaan, tai siitä on poistettu paikalliskannan SID-kenttä, ei replikoinnilla ole tarpeellisia tietoja vastintietueen löytämiseksi paikalliskannasta –bulkimport poistaa bibliografisen tietueen paikalliskannasta vain, jos siihen ei liity holdings- tai nidetietueita tai esimerkiksi hankinnan tietoja

KIRJASTOVERKKOPALVELUT Miksi tietue ei replikoidu?  replikointi on kaatunut kokonaan  replikoinnissa on jonoa  tietueessa jotain vikaa (esim. väärä merkistökoodi) –joko replikointi tai bulkimport hylkää tietueen  bulkimport löytää useamman vastintietueen  tietue on jäänyt replikoitumatta tietokantatunnusta lisättäessä, jolloin muutoksille ei löydy vastintietuetta –korjattavissa poistamalla ja palauttamalla LOW-tag

KIRJASTOVERKKOPALVELUT Tulossa replikointiin  uusia filttereitä ja ohjauskomentoja  osakohteiden replikointi  auktoriteettitietueiden replikointi  replikointiratkaisuja muihin paikallisjärjestelmiin

KIRJASTOVERKKOPALVELUT Replikoinnin dokumentaatio Metiva-wikissä  –Replikoinnin asetuksetReplikoinnin asetukset –Kenttien käyttäytyminen replikoinnissa ja Voyagerin bulk importissaKenttien käyttäytyminen replikoinnissa ja Voyagerin bulk importissa –Replikoinnin filtteröintipluginitReplikoinnin filtteröintipluginit –Replikoinnin ohjauskomentojen käyttö luetteloinnissaReplikoinnin ohjauskomentojen käyttö luetteloinnissa –Bulkimport Rule replikointia vartenBulkimport Rule replikointia varten

KIRJASTOVERKKOPALVELUT Kysymyksiä? Kommentteja?

Fennican replikointiasetukset, tilanne Minttu Hurme / KVP, tietojärjestelmät , Fennica-Melinda työpaja

KIRJASTOVERKKOPALVELUT  selvitys Fennican tämänhetkisistä replikointisäännöistä  tehty tukemaan ennakkotietojen tekemistä Melindassa ja niiden replikoitumista Fennicaan  ennen muun luetteloinnin siirtymistä Melindaan replikointisääntöjä tulee päivittää

KIRJASTOVERKKOPALVELUT Replikoitumisehdot  tietueiden lisäykset ja päivitykset replikoituvat Melindasta Fennicaan vain, jos tietue on Melindassa viimeeksi tallennettu FENNI-alkuisella luetteloijatunnukset  replikointi ei koskaan yritäkään poistaa tietuetta Fennicasta

KIRJASTOVERKKOPALVELUT Filtterit tietuelisäyksissä ja päivityksissä  plugin_handle_579 –579 $aXLUETTELOITU –kenttä säilytetään vain, jos sen osakentässä $b on tietokantatunnus fenni  plugin_organisation –kentät, joissa on osakenttä $5 säilytetään vain, jos osakentässä $5 on Fennican tietokantatunnus FENNI tai ISIL-tunnus FI-NL  plugin_strip_subfield_9 –replikoinnin ohjauskomentoja sisältävät osakentät $9 karsitaan

KIRJASTOVERKKOPALVELUT ja lisäksi päivityksissä  plugin_strip_fields plugin_strip_fields_mod1 –tietueesta karsitaan kaikki kentät, joissa on osakentässä $9 replikoinnin ohjauskomento FENNI –tietueesta karsitaan kentät  583, 594,  600, 610, 611, 630, 648, 650, 651, 653, 654, 655, 656, 657, 658, 662,  901, 902, 903, 904, 905, 906, 935,  jos niissä ei ole osakentässä $9 replikoinnin ohjauskomentoa FENNI

KIRJASTOVERKKOPALVELUT Mergesäännöt  Tietueen replikoituessa Fennican tietueesta säilytetään seuraavat kentät – –222 – – –

KIRJASTOVERKKOPALVELUT Yhteenveto Tietueen replikoituessa se muokkaantuu Fennicassa Melindassa tehtyjen muutosten mukaiseksi seuraavia, replikointisäännöissä erikseen säänneltyjä tapauksia lukuunottamatta:  Melindassa tehdyt lisäykset replikoituvat Fennicaan, mutta myös Fennicassa olevat versiot kentästä säilyvät, kunnes niitä muokataan Fennicassa: –020, 022, 024, 222, 500 –583, 594, 6XX, 90X, 945 (jos Melindassa kentässä replikoinnin ohjauskomento FENNI )

KIRJASTOVERKKOPALVELUT  Melindassa tehdyt muutokset eivät vaikuta kenttään lainkaan:  583, 594, 6XX, 90X, 945 (ilman replikoinnin ohjauskomentoja)  Fennicaan eivät myöskään replikoidu sellaiset yksittäiset kentät, –joissa on osakentässä $9 replikoinnin ohjauskomento FENNI, tai –osakentässä $5 jokin muu tietokanta/ISIL-tunnus kuin FENNI/FI-NL