Minttu Hurme / KVP, tietojärjestelmät

Esitys aiheesta: "Minttu Hurme / KVP, tietojärjestelmät"— Esityksen transkriptio:

1 Minttu Hurme / KVP, tietojärjestelmät 23.5.2017
Replikointikoulutus Minttu Hurme / KVP, tietojärjestelmät

2 mistä replikoinnissa on kyse
replikoinnin vaiheet miten replikointia voi säätää kirjastokohtaisesti

3 Mitä replikointi on Replikointi on tapa, jolla:
Melindassa luetteloidut tietueet siirtyvät (poimitaan) Voyager-paikalliskantoihin Melindassa tietueisiin tehdyt muutokset siirtyvät paikalliskantoihin lisäksi replikoimalla voidaan tietyissä tapauksissa myös poistaa tietue paikalliskannasta tietueita paikalliskannasta Melindaan vietäessä puhutaan aineistosiirroista tai tietueiden lataamisesta / loadeista

4 replikoinnista on olemassa omat versiot:
replikointi toimii KVP:ssä tuotetulla Perl-skriptillä, josta on tuotantokäytössä tällä hetkellä versio 5. replikoinnista on olemassa omat versiot: Alephin ja Voyagerin välille Alephin ja Auroran välille Alephin ja muun, sftp:llä tietuepaketit noutavan järjestelmän välille

5 Replikoinnin rajoitukset
Ei (suuriin) massamuutoksiin Ei ole mitään tapaa jäljittää yksittäisiin kenttiin kohdistuvia muutoksia kehenkään tiettyyn tekijään tai tiettyyn tekoaikaan, joten silloin tällöin käytetty ’kirjaston oman luetteloijan tekemät muutokset’ tarkoittaa myös kaikkia muita, ennen kyseistä, oman luetteloijan tekemää muutoskertaa, tietueeseen tehtyjä muutoksia

6 Replikoinnin sijainti
Voyager-kannoilla kullakin oma replikointinsa Voyager-palvelimella hakemistossa: /m1/voyager/xxxdb/local/replication/ muiden paikalliskantojen replikoinnit sijaitsevat replikointipalvelimella replikointi-kk.lib.helsinki.fi, kunkin omassa hakemistossa: /home/xxxxx/replication/

7 Replikointisäännöt paikalliskantakohtaiset ehdot seuraaville asioille
millä luetteloijatunnuksilla tehtyjen Melinda-tallennusten jälkeen tietueen muutokset replikoidaan myös paikalliskantaan mitä kaikkia kenttiä Melindan tietueesta vastaanotetaan paikalliskantaan ja muokataanko niitä jotenkin mitkä paikalliskannan tietueen kentät säilytetään sellaisenaan tietuetta päivitettäessä, mikä voidaan määritellä Voyagerin SysAdminissa replikoinnin käyttämän bulkimport rulen asetuksiin Aurorassa erätuontiasetuksiin replikoinnin merge-filtterien asetuksissa

8 Replikoinnin toiminta
Aleph / Melinda 1. Muutostieto 2. Tietue 3. Luetteloija-tieto 4. Vastintietue paikallis-kannassa 5. Tietueen muokkaus 6. Bulkimport / Erätuonti 7. Merge-kenttien määrittelyt / erätuonnin asetukset Voyager / Aurora

9 Muutostieto, tietue ja luetteloijatieto
replikointi saa Alephista tiedon niistä paikalliskannan tietokantatunnuksella (LOW-tag) varustetuista tietueista, joissa on tapahtunut muutoksia edellisen kyselyn jälkeen replikointi hakee muutetun tietueen Alephista replikointi poimii tietueen CAT-kentistä tiedon muutoksen tehneestä kuvailijasta massaloadimuutokset hylätään automaattisesti muuten toimitaan replikointisääntöjen mukaan

10 Vastintietue paikalliskannassa
replikointi tarkistaa paikalliskannan vastintietueen olemassaolon Voyagerista SQL-kyselyllä Aurorasta OAI-PMH –haravointirajapinnan kautta

11 Vastintietueiden linkkaukset
SID-kenttä, jossa paikalliskannan vastintietueen tunniste Melindaan Voyager-kannoista loadatut tietueet kaikki Aurora-paikalliskantojen tietueet paikalliskannan tietueen 035 $a –kenttä, jossa Melinda-ID FCC-alkuisena (Voyager-paikalliskannat) (FI-MELINDA) –alkuisena (Aurora paikalliskannat) Melindasta Voyager-paikalliskantoihin replikoituneet tietueet 035 $z ja/tai SID-kenttä, jossa entinen Melinda-ID Melindassa tuplina yhdistetyt tietueet

12 Tietueen muokkaaminen
tietueesta poistetaan ja siinä säilytetään kenttiä ja osakenttiä paikalliskantakohtaisten replikointisääntöjen perusteella muokkaaminen tapahtuu filtteriplugineilla, joilla on omat asetustiedostonsa

13 plugin_strip_fields — filtteri, jolla voidaan yksinkertaisesti karsia tietueesta kenttiä kenttäkoodin perusteella plugin_organisation — filtteri, joka käsittelee osakenttä $5:n sisältäviä kenttiä plugin_strip_subfield_9 — filtteri, jolla karsitaan replikoinnin ohjauskomentoja sisältävät $9 osakentät plugin_thesaurus — asiasanastofiltteri plugin_classification — luokitusfiltteri plugin_convert_aleph_voyager — käsittelee Alephin ja Voyagerin eroavaisuuksia, mm. yhdistää Alephin pilkkomat pitkät kentät

14 plugin_remove_subfield — osakentän poistava filtteri, erityisesti tekijäkenttien syntymävuosia sisältäville $d-osakentille plugin_convert_aleph_voyager — Käsittelee Alephin ja Voyagerin eroavaisuuksista johtuvia muutoksia. plugin_break_chains — Filtteri, joka purkaa asiasanaketjut yksittäisiksi asiasanoiksi tai karsii ne kokonaan plugin_minimize_record — Filtteri, joka karsii/säilyttää kenttiä ja/tai päivittää tietueen koodaustason, kun tietueesta löytyy tietystä kentästä tietty sisältö. plugin_convert_metadata — Filtteri, jolla voi muokata replikoinnin ohjauskomentoja

15 plugin_update_fixed_field_conditional
päivittää kiinteän merkkipaikan arvon (esim. kuvailutaso kansallisbibliografiatasosta kirjastotasoiseksi) voidaan määritellä toimimaan vain tietyn aineistotyypin (BK, MU jne.) tietueille plugin_strip_duplicate_data poistaa kentän, jossa on identtinen sisältö toisen kentän kanssa (esim. 024-kentät, joissa on 020-kentän ISBN:ää vastaava sisältö)

16 Replikoinnin ohjauskomennot
täydentävät paikalliskannan replikoinnin asetuksia vaikuttavat yksittäisen tietueen yksittäisen kentän replikoitumiseen ovat muotoa tietokantatunnus<KOMENTO> ja merkitään osakenttään $9, esimerkiksi: 080__ $a 061 $9 ALLI<KEEP>

17 osakenttä $9 ja sen sisältämät replikoinnin ohjauskomennot eivät
tietokantatunnus+ohjauskomento –yhdistelmät löytyvät Aleph-klientissä osakenttien automaattisten sisältövaihtoehtojen listalta muiden tekemiä $9-osakenttiä ja niiden sisältämiä komentoja ei saa poistaa tietueista osakenttä $9 ja sen sisältämät replikoinnin ohjauskomennot eivät siirry paikalliskantoihin replikoinnissa näy Melindan OPACin koko viite –näytössä ole poimittavissa Melindan Z39.50/SRU -serveriltä.

18 Käytössä olevat ohjauskomennot
versiossa 5 käytössä seuraavat ohjauskomennot: <KEEP> - säilyttää kentän, vaikka paikalliskannan filtterit karsisivat sen normaalisti <DROP> - karsii kentän, vaikka paikalliskannan filtterit säilyttäisivät sen normaalisti

19 Merge -ominaisuudet merge –ominaisuuksissa replikointi noutaa myös paikalliskannan vastintietueen käsiteltäväksi Voyagerista tietue haetaan SQL-kyselyllä Aurorasta tietue haetaan OAI-PMH –rajapinnan kautta

20 Merge –ominaisuus – yksittäisten kenttien / kenttäryhmien replikointi
ominaisuuden avulla on mahdollista replikoida Melindasta paikalliskantaan koko tietueen sijasta myös tietueen yksittäinen kenttä tai kenttäryhmä esim. sisällönkuvailija voi päivittää pelkän sisällönkuvailun Tarkempi dokumentaatio löytyy Melinda-wikistä:

21 Merge-ominaisuus – paikalliskannan tietojen suojaaminen
ominaisuuden avulla on mahdollista säädellä paikalliskannan tietueesta säilytettäviä tietoja tarkemmin määritellysti kuin Voyagerin bulkimportin merge-fields –asetuksilla tai Auroran erätuontiasetuksilla esim. kiinteämittaisten kenttien yksittäiset merkkipaikat

22 Merge-ominaisuus – vertailu
replikoituvan tietueen ja paikalliskannan välisen tietueen vertailu: replikoituminen estetään, jos paikalliskannan tietueessa ei tapahdu muutoksia oleellinen Aurora-kirjastoille, koska replikoituvat tietueet vaativat myös käsityötä

23 Usemarcon ruotsinkielisille paikalliskannoille (joidenkin) RDA-termien käännös suomesta ruotsiksi mahdollista ajaa myös paikalliskannan vastintietueen kuvailukielen perusteella

24 Bulkimportin ja erätuonnin asetukset
myös Voyagerin bulkimportin asetukset sekä Auroran erätuonnin asetukset vaikuttavat siihen millaisena replikoituva tietue päätyy (tai päätyykö se ollenkaan) paikalliskantaan esim. bulkimportin käyttämän tuplakontrollisäännön asetuksissa voidaan määritellä ne kentät (merge-kentät), joiden halutaan säilyvät paikalliskannnan tietueessa sellaisinaan aina replikoinnin päivittäessä tietuetta jos kenttä on replikoinnissa karsittu filtterillä kokonaan, Melindassa tehdyt muutokset eivät vaikuta siihen mitenkään jos kenttää ei ole replikoinnissa karsittu, paikalliskannassa olevan säilytettävän version rinnalle päivittyvät myös Melindassa muutetut/lisätyt versiot

25 Replikoinnin toiminta
Aleph / Melinda 1. Muutostieto 2. Tietue 3. Luetteloija-tieto 4. Vastintietue paikallis-kannassa 5. Tietueen muokkaus 6. Bulkimport / Erätuonti 7. Merge-kenttien määrittelyt / erätuonnin asetukset Voyager / Aurora

26 Replikoinnin asetusten muutokset
replikoinnin asetuksia saa päivittää myös itse muutosten vaatima uudelleenkäynnistys joko huoltokatkon aikaan yöllä tai pyytämällä Melinda-tuesta myös koko muutoksen voi pyytää Melinda-tuesta

27 Replikoinnin dokumentaatio Melinda-wikissä
Replikoinnin asetukset Kenttien käyttäytyminen replikoinnissa ja Voyagerin bulk importissa Replikoinnin filtteröintipluginit Replikoinnin ohjauskomentojen käyttö luetteloinnissa Bulkimport Rule replikointia varten Yksittäisen kentän tai kenttäryhmän replikoiminen Melindasta paikalliskantaan

28 Kysymyksiä? Kommentteja?