Replikoinnin perusteet - kuinka tietueet siirtyvät Alephista Voyageriin? Minttu Hurme / KVP, tietojärjestelmät 6.3.2013.

Esitys aiheesta: "Replikoinnin perusteet - kuinka tietueet siirtyvät Alephista Voyageriin? Minttu Hurme / KVP, tietojärjestelmät 6.3.2013."— Esityksen transkriptio:

1 Replikoinnin perusteet - kuinka tietueet siirtyvät Alephista Voyageriin? Minttu Hurme / KVP, tietojärjestelmät 6.3.2013

2 KIRJASTOVERKKOPALVELUT Replikoinnin perusteet  mistä replikoinnissa on kyse  replikoinnin vaiheet  miten replikointia voi säätää kirjastokohtaisesti

3 KIRJASTOVERKKOPALVELUT Mitä replikointi on  Replikointi on tapa, jolla: –Melindassa luetteloidut tietueet siirtyvät (poimitaan) paikalliskantoihin –Melindassa tietueisiin tehdyt muutokset siirtyvät paikalliskantoihin –lisäksi replikoimalla voidaan tietyissä tapauksissa myös poistaa tietue paikalliskannasta  tietueita paikalliskannasta Melindaan vietäessä puhutaan lataamisesta / loadeista

4 KIRJASTOVERKKOPALVELUT  nykyinen replikointi toimii Alephin ja Voyagerin välillä –muissa järjestelmissä toimiville paikalliskannoille tarvitaan omat versionsa  replikointi toimii KVP:ssä tuotetulla Perl-skriptillä, josta on tuotantokäytössä tällä hetkellä versio 3.5.1

5 KIRJASTOVERKKOPALVELUT Replikoinnin rajoitukset  Ei (suuriin) massamuutoksiin  Ei ole mitään tapaa jäljittää yksittäisiin kenttiin kohdistuvia muutoksia kehenkään tiettyyn tekijään tai tiettyyn tekoaikaan, joten ’kirjaston oman luetteloijan tekemät muutokset’ tarkoittaa myös kaikkia muita, ennen kyseistä, oman luetteloijan tekemää muutoskertaa, tietueeseen tehtyjä muutoksia

6 KIRJASTOVERKKOPALVELUT Replikoinnin sijainti ja tiedostot  kullakin paikalliskannalla oma replikointinsa hakemistossa: /m1/voyager/xxxdb/local/replication/  alihakemistot: – scratch - väliaikaistiedostot – plugins – filtteripluginit ja niiden asetustiedostot – rpt – bulkimportin tiedostot, jos replikoinnilla on käytössä erillinen bulkimport-versio

7 KIRJASTOVERKKOPALVELUT  tiedostot – aleph_replication.pl - varsinainen replikointiskripti – aleph_replication.sh – replikointiskriptin käynnistysskripti – replication.config – asetustiedosto – replication.log - lokitiedosto – replication.pid – käynnissä olevan replikoinnin prosessi-id – replication.pid.lock – edellisen lukkotiedosto – sequence.id - viimeisin järjesteysnumero, jolla replikointi on hakenut muutoksia Melindasta

8 KIRJASTOVERKKOPALVELUT Replikoinnin operointi  replikointia pääsee operoimaan (käynnistämään, uudelleenkäynnistämään, sammuttamaan) vain voyagersu -tunnuksilla  uudelleenkäynnistyminen joka ilta huoltokatkon yhteydessä tai palveluosoitteesta melinda-posti@helsinki.fi pyytämällämelinda-posti@helsinki.fi  replikoinnin voi itse pysäyttää lisäämällä replikointihakemistoon hold - nimisen tiedoston

9 KIRJASTOVERKKOPALVELUT Replikointisäännöt  paikalliskantakohtaiset ehdot seuraaville asioille –millä luetteloijatunnuksilla tehtyjen Melinda-tallennusten jälkeen tietueen muutokset replikoidaan myös paikalliskantaan –mitä kaikkia kenttiä Melindan tietueesta vastaanotetaan paikalliskantaan –mitkä paikalliskannan tietueen kentät säilytetään sellaisenaan tietuetta päivitettäessä

10 KIRJASTOVERKKOPALVELUT Aleph / Melinda 1. Muutostieto2. Tietue3. Luetteloijatieto 4. Vastintietue paikalliskannassa 5. Tietueen muokkaus 6. Bulkimport 7. Merge-kenttien määrittelyt Voyager / paikalliskanta Replikoinnin toiminta

11 KIRJASTOVERKKOPALVELUT 1. Muutostieto  replikointi hakee Alephin VST-serveriltä tiedon niistä paikalliskannan tietokantatunnuksella varustetuista tietueista, joissa on tapahtunut muutoksia edellisen kyselyn jälkeen  tietueen tunnisteen lisäksi saadaan tieto siitä onko: –tietueeseen lisätty paikalliskannan tietokantatunnus –tietue tallennettu (eli päivitetty) –tietueesta poistettu paikalliskannan tietokantatunnus

12 KIRJASTOVERKKOPALVELUT 2. Tietue  replikointi hakee muutetun tietueen Alephin X-serveriltä (Ex Libriksen web service –rajapinta) –tietue on MARCXML –muodossa –tietueessa tulevat mukana kaikki ’Aleph-kentät’ (CAT, LOW, SID, FMT jne.)

13 KIRJASTOVERKKOPALVELUT 3. Luetteloijatieto  replikointi hakee noudetun tietueen CAT-kentistä tiedon siitä, mille luetteloijatunnuksella tietue on viimeeksi tallennettu  replikointisääntöjen ja luetteloijatunnuksen perusteella muutos joko –hylätään kokonaan, tai –hyväksytään primääri- tai sekundäärimuutoksena, joita käsitellään jatkossa eri sääntöjen mukaan

14 KIRJASTOVERKKOPALVELUT 4. Vastintietue paikalliskannassa  replikointi hakee tietueen vastintietueen tunnisteen paikalliskannasta SQL-kyselyllä, ja –tallentaa saapuvan tietueen Melindan kontrollinumeron (001, SYS/bibid) FCC-prefiksillä kenttään 035 $a –päivittää paikalliskannan tietueen kontrollinumeron (001, bibid) saapuvan tietueen kontrollinumeroksi kenttään 001

15 KIRJASTOVERKKOPALVELUT Vastintietueiden linkkaukset – Melindaan loadatut tietueet Melindan tietue: SID (source ID) –kenttä, jossa paikalliskannan tietueen kontrollinumero(bibid) ja tietokantatunnus SID__ $c 123456 $b fenni Paikalliskannan tietue: 001 –kenttä, jossa paikalliskannan tietueen kontrollinumero (bibid) 001 123456

16 KIRJASTOVERKKOPALVELUT Vastintietueiden linkkaukset – Melindasta paikalliskantaan poimitut tietueet Melindan tietue: 001 –kenttä, jossa tietueen Melindan tunniste (SYS/bibid) 001 006789123 Paikalliskannan tietue: 035a –kenttä, jossa tietueen Melindan tunniste (SYS/bibid) FCC (Finnish Central Catalogue?) -prefiksillä 035__ $a FCC00678912

17 KIRJASTOVERKKOPALVELUT Vastintietueiden linkkaukset – Melindasta paikalliskantaan poimitut tietueet, joiden alkuperäinen vastintietue on poistettu tuplatietuetta yhdistäessä Melindan tietue: SID –kenttä, jossa poistetun tietueen Melindan tunniste (SYS/bibid) FCC- prefiksillä sekä paikalliskannan tietokantatunnus SID__ $c FCC00678912 $b fenni Paikalliskannan tietue: 035a –kenttä, jossa alkuperäisen vastintietueen Melindan tunniste (SYS/bibid) FCC (Finnish Central Catalogue?) -prefiksillä 035__ $a FCC00678912

18 KIRJASTOVERKKOPALVELUT 5. Tietueen muokkaaminen  tietueesta poistetaan ja siinä säilytetään kenttiä ja osakenttiä paikalliskantakohtaisten replikointisääntöjen perusteella  muokkaaminen tapahtuu filtteriplugineilla, joilla on omat asetustustiedostonsa

19 KIRJASTOVERKKOPALVELUT Replikoinnin filtterit versiossa 3.5.1  plugin_strip_fields — filtteri, jolla voidaan yksinkertaisesti karsia tietueesta kenttiä kenttäkoodin perusteella plugin_strip_fields  plugin_handle_579 — filtteri, jolla käsitellään tilastomerkinnän sisältävä kenttä 579 plugin_handle_579  plugin_organisation — filtteri, joka käsittelee osakenttä $5:n sisältäviä kenttiä plugin_organisation  plugin_strip_subfield_9 — filtteri, jolla karsitaan replikoinnin ohjauskomentoja sisältävät $9 osakentät plugin_strip_subfield_9  plugin_thesaurus* — asiasanastofiltteri plugin_thesaurus  plugin_classification* — luokitusfiltteri plugin_classification  plugin_convert_aleph_voyager* — käsittelee Alephin ja Voyagerin eroavaisuuksia, mm. yhdistää Alephin pilkkomat pitkät kentät plugin_convert_aleph_voyager * -merkityt uusia versiossa 3.5.1.

20 KIRJASTOVERKKOPALVELUT Filtterien käyttöönotto  muokkaa filtterin asetustiedosto sopivaksi  lisää suoritettavien filtterien nimet (ja asetustiedoston nimi tarvittaessa) suoritusjärjestyksessä replikoinnin asetustiedostoon haluttujen toimintojen kohdalle  pyydä replikoinnin uudelleenkäynnistystä palveluosoitteesta melinda- posti@helsinki.fimelinda- posti@helsinki.fi  vaihtoehtoisesti käyttöönoton voi kokonaisuudessaan pyytää ylläolevasta palveluosoitteesta

21 KIRJASTOVERKKOPALVELUT plugin_thesaurus - asiasanastofiltteri  säilyttää ja/tai karsii asiasanakenttiä –2. indikaattorin arvon perusteella –osakentän $2 asiasanastolyhenteen perusteella, jos 2. indikaattorin arvo on ’7’ –osakentän $5 tietokantatunnuksen perusteella, jos 2. indikaattorin arvo on ’7’ ja osakentässä $2 asiasanastolyhenne ’local’ –kentän 653 osakentän $9 epävirallisen asiasanastolyhenteen perusteella  tulossa: 600, 610, 611 ja 630 –kentät omana ryhmänään käsittelevä versio, koska näiden osalta halutaan usein säilyttää myös ne kentät, joissa 2. indikaattorilla on arvo ’4’ –tällä hetkellä kyseisen toiminnallisuuden saa aikaan määrittelemällä filtterin ajettavaksi kaksi kertaa peräkkäin eri asetustiedostoilla

22 KIRJASTOVERKKOPALVELUT plugin_classification - luokitusfiltteri  säilyttää ja/tai karsii luokituskenttiä 084 osakentässä $2 olevien luokituslyhenteiden perusteella  muut luokituskentät ovat käsiteltävissä plugin_strip_fields –filtterillä, koska niissä käytettävä luokitus määrittyy suoraan käytetystä kentästä

23 KIRJASTOVERKKOPALVELUT plugin_aleph_voyager  huolehtii siitä, että kiinteämittaisissä kentissä on tyhjämerkkinä Voyagerin käyttämä välilyönti ’ ’Alephin käyttämän karetin ’^’ (versiossa 3.5.1 vielä myös varsinaisessa replikointiskriptissä)  yhdistää Alephissa useaksi kentäksi pilkotut pitkät kentät takaisin yhdeksi kentäksi

24 KIRJASTOVERKKOPALVELUT Filtterien kehitysideoita  asiasanaketjut purkava filtteri  tekijäkenttien $d-osakentät poistava filtteri  tekijäfunktiofiltteri (kielet, $4->$e, $e->$4)  $0 ja $w –osakenttiä käsittelevä filtteri  kyrilliikan translitteraatiofiltteri  termikäännösfiltteri  mitkä olisivat juuri teillä tarpeen?

25 KIRJASTOVERKKOPALVELUT Replikoinnin ohjauskomennot luetteloinnissa  täydentävät paikalliskannan replikoinnin asetuksia  vaikuttavat yksittäisen tietueen yksittäisen kentän replikoitumiseen  ovat muotoa tietokantatunnus ja merkitään osakenttään $9, esimerkiksi: 080__ $a 061 $9 ALLI

26 KIRJASTOVERKKOPALVELUT  tietokantatunnus+ohjauskomento –yhdistelmät löytyvät Aleph- klientissä osakenttien automaattisten sisältövaihtoehtojen listaltaosakenttien automaattisten sisältövaihtoehtojen listalta  muiden tekemiä $9-osakenttiä ja niiden sisältämiä komentoja ei saa poistaa tietueista  osakenttä $9 ja sen sisältämät replikoinnin ohjauskomennot eivät –siirry paikalliskantoihin replikoinnissa –näy Melindan OPACin koko viite –näytössä –ole poimittavissa Melindan Z39.50/SRU -serveriltä.

27 KIRJASTOVERKKOPALVELUT Käytössä olevat ohjauskomennot  versiossa 3.5.1 käytössä seuraavat ohjauskomennot: – - säilyttää kentän, vaikka paikalliskannan filtterit karsisivat sen normaalisti – - karsii kentän, vaikka paikalliskannan filtterit säilyttäisivtä sen normaalisti

28 KIRJASTOVERKKOPALVELUT Ohjauskomentoja tulossa  - osakentän $5 tietokanta/organisaatiotunnusta vastaava ohjauskomento niille kentillä, joissa osakenttää $5 ei MARC 21:n mukaan käytetä –säilyttää kentän sen paikalliskannan replikoinnissa, joka käyttää komentoa –karsii kentän kaikkien muiden paikalliskantojen replikoinnissa

29 KIRJASTOVERKKOPALVELUT 6. Bulkimport  replikointi tallentaa saapuvan tietueen MARC 21 –vaihtomuodossa scratch –hakemistoon  tietue tallennetaan paikalliskantaan Voyagerin bulkimport –skriptillä –bulkimportista voidaan tehdä replikointia varten oma versio, joka tallentaa loki- ja väliaikaistiedostonsa replikoinnin omaan rpt –hakemistoon  tietueiden lisäykset, muutokset ja poistot ajetaan eri bulkimport – asetuksilla –myös primääri- ja sekundäärimuutoksille voidaan määritellä erilliset bulkimport -asetukset

30 KIRJASTOVERKKOPALVELUT Bulkimportin tuplakontrollisääntö  replikoinnin käyttämissä bulkimportin asetuksissa riittää tuplakontrolliksi tietueen kontrollinumero (001, bibid), koska replikointi on päivittänyt sen saapuvassa tietueessa paikalliskannan tietuetta vastaavaksi

31 KIRJASTOVERKKOPALVELUT 7. Bulkimportin tuplakontrollisäännön merge-kentät  bulkimportin käyttämän tuplakontrollisäännön asetuksissa voidaan määritellä ne kentät (merge-kentät), joiden halutaan säilyvät paikalliskannnan tietueessa sellaisinaan aina replikoinnin päivittäessä tietuetta –jos kenttä on replikoinnissa karsittu filtterillä kokonaan, Melindassa tehdyt muutokset eivät vaikuta siihen mitenkään –jos kenttää ei ole replikoinnissa karsittu, paikalliskannassa olevan säilytettävän version rinnalle päivittyvät myös Melindassa muutetut/lisätyt versiot

32 KIRJASTOVERKKOPALVELUT Aleph / Melinda 1. Muutostieto2. Tietue3. Luetteloijatieto 4. Vastintietue paikalliskannassa 5. Tietueen muokkaus 6. Bulkimport 7. Merge-kenttien määrittelyt Voyager / paikalliskanta Replikoinnin toiminta

33 KIRJASTOVERKKOPALVELUT Replikointi ja usemarcon  Replikoinnin voi konfiguroida ajamaan usemarcon-konversion ennen tietueen lataamista bulkimportilla Voyageriin  Käytössä ruotsinkielisissä tietokannoissa ISBD 0-alueen termien kääntämiseen

34 KIRJASTOVERKKOPALVELUT Replikointi ja tietueiden poistaminen  kun Melindan tietueesta poistetaan paikalliskannan tietokantatunnus, replikointi yrittää poistaa tietueen myös paikalliskannasta, mutta: –jos tietue on poistettu Melindasta kokonaan, tai siitä on poistettu paikalliskannan SID-kenttä, ei replikoinnilla ole tarpeellisia tietoja vastintietueen löytämiseksi paikalliskannasta –bulkimport poistaa bibliografisen tietueen paikalliskannasta vain, jos siihen ei liity holdings- tai nidetietueita tai esimerkiksi hankinnan tietoja

35 KIRJASTOVERKKOPALVELUT Miksi tietue ei replikoidu?  replikointi on kaatunut kokonaan  replikoinnissa on jonoa  tietueessa jotain vikaa (esim. väärä merkistökoodi) –joko replikointi tai bulkimport hylkää tietueen  bulkimport löytää useamman vastintietueen  tietue on jäänyt replikoitumatta tietokantatunnusta lisättäessä, jolloin muutoksille ei löydy vastintietuetta –korjattavissa poistamalla ja palauttamalla LOW-tag

36 KIRJASTOVERKKOPALVELUT Tulossa replikointiin  uusia filttereitä ja ohjauskomentoja  osakohteiden replikointi  auktoriteettitietueiden replikointi  replikointiratkaisuja muihin paikallisjärjestelmiin

37 KIRJASTOVERKKOPALVELUT Replikoinnin dokumentaatio Metiva-wikissä  https://wiki.helsinki.fi/display/Metiva/Replikointi https://wiki.helsinki.fi/display/Metiva/Replikointi –Replikoinnin asetuksetReplikoinnin asetukset –Kenttien käyttäytyminen replikoinnissa ja Voyagerin bulk importissaKenttien käyttäytyminen replikoinnissa ja Voyagerin bulk importissa –Replikoinnin filtteröintipluginitReplikoinnin filtteröintipluginit –Replikoinnin ohjauskomentojen käyttö luetteloinnissaReplikoinnin ohjauskomentojen käyttö luetteloinnissa –Bulkimport Rule replikointia vartenBulkimport Rule replikointia varten

38 KIRJASTOVERKKOPALVELUT Kysymyksiä? Kommentteja? melinda-posti@helsinki.fi