Pasi Tuominen MARC21 -tietuejoukkojen deduplikointi

Deduplikointi? Etsitään tietuejoukosta tietuepareja, jotka kuvaavat samaa asiaa ja yhdistetään ne. Aiheesta on tehty paljon tutkimusta kirjastoalan ulkopuolella Deduplikointiprosessin voi jakaa karkeasti kolmeen vaiheeseen.

Samankaltaisuuden tarkistus Ongelma: miten tietokoneella voidaan tarkistaa, kuvaavatko kaksi tietuetta samaa asiaa? Ratkaisu: koulutetaan tietokone jäljittelemään sitä, mitä asiantuntijat ovat tehneet. Koulutukseen soveltuvaa aineistoa on kerätty merge+:sta vuodesta 2011.

Neuroverkko Luokittelu on yksi koneoppimisen menetelmien perusjuttuja. Tietueparin luokittelu duplikaatiksi/ei- duplikaatiksi tehdään neuroverkolla. Käsiteltävästä tietueparista tehdään ominaisuusvektori. Neuroverkko on koulutettu tunnistamaan annetusta ominaisuusvektorista kuinka todennäköisesti kyseessä on duplikaatti.

Mergefunktio Millä tavalla kaksi marc21 -tietuetta yhdistetään? Paremman tietueen valinta pohjaksi (säilyväksi). Poistuvasta tietueesta siirretään erikseen määritelty joukko kenttiä säilyvään tietueeseen. Osalle kentistä tehdään hyvin monimutkaisia vertailuita paremman kentän määrittelyksi.

Paremman tietueen valinta Tietueparista toisen tietueen luokittelu paremmaksi valitseminen tehdään tiettyjen tietueissa esiintyvien piirteiden avulla. Kukin piirre on vielä painotettu erikseen painokertoimella. Painokertoimet on optimoitu geneettisen algoritmin avulla. Testiaineistona asiantuntijoiden paremmaksi valitsemaa tietuetta.

583 ja undo

Huomautus toimenpiteestä 583 aMERGED FROM (FI-MELINDA) (FI- MELINDA) c T10:12:45+03:00 5MELINDA Mikäli tietueen yhdistäminen perutaan myöhemmin, niin siitä tulee myös vastaavanlainen merkintä, jossa toimenpide on mainittuna.

Kandidaattien valinta Miten suuresta tietuejoukosta löydetään duplikaattikandidaatteja? Ongelmana on, että naiivi tapa verrata tietuejoukon kaikkia tietueita keskenään ei ole mahdollinen. Vertailujen lukumäärä kasvaa neliöisesti vertailtavan aineiston koon kasvaessa lineaarisesti.

Nopeudella 1ms/vertailu

Pienet ryhmät (1ms/vertailu)

Käytetyt ryhmittelymenetelmät Ratkaisu on siis ryhmitellä tietuejoukko pieniksi ryhmiksi. Tutkimuksessani parhaan tuloksen antoi kahden eri algoritmin yhdistelmä. Ne ovat järjestetty naapurusto ja suffiksitauluun perustuva ryhmittely. Ryhmittelyt tehty teosten nimekkeiden perusteella. Toinen hyvä ryhmittelytapa on käyttää tekijää ja julkaisuvuotta.

Deduplikointiprosessi

Jatko Tutkimusprojekti, kehitys iteratiivista Ensimmäinen yhdistäminen tuotantoympäristössä tällä järjestelmällä tehdään kesäkuun alussa. Deduplikointijärjestelmää ylläpidettävä sen mukaan miten kuvailusäännöt ja -käytännöt elävät.

Kysymykset Pasi Tuominen