Helsingin yliopiston kirjasto Bibliometriikkaseminaari

Esitys aiheesta: "Helsingin yliopiston kirjasto Bibliometriikkaseminaari"— Esityksen transkriptio:

1 Helsingin yliopiston kirjasto Bibliometriikkaseminaari 16.10.2015
Miten avata indikaattorit? Helsingin yliopiston tutkimusjulkaisujen arviointi /13 Eva Isaksson Helsingin yliopiston kirjasto Bibliometriikkaseminaari

2 Aina mun pitää arvioida julkaisuja…
HY:n tutkimuksen ja tohtorikoulutuksen kansainvälinen arviointi 2011: vuodet Julkaisut analysoi Leidenin yliopistossa toimiva CWTS – takasi kansainvälisen vertailtavuuden Miten HY:n julkaisutoiminta on kehittynyt 4 vuotta myöhemmin? Miltä Helsingin yliopiston tutkimustoiminta näyttää julkaisujen valossa? Jälleen CWTS suoritti analyysin, nyt vuosille /

3 Miksi kirjasto oli tässä mukana?
HY kirjaston tavoiteohjelmassa suunnittelukaudella on yhtenä keskeisenä alueena tutkimustoiminnan arviointiin käytettävien palvelujen kehittäminen Kirjastossa TUHAT-tutkimustietojärjestelmän osaamista, tietokantojen sisällön ja laadun ymmärtämistä ja bibliometrista osaamista Kokemusta jo vuosien arvioinnista Kirjaston asiantuntijoille mahdollisuus oppia uutta ja soveltaa myös käytännössä bibliometrisia välineitä sekä ymmärtää datan oikeellisuuden merkitys bibliometristen analyysien tulosten kannalta Bibliometrisen asiantuntemuksen laajentaminen ja lisääminen

4 Liikkeellelähtö ja tavoitteet
Aloite HY:n tiedontuotantotiimiltä syksyllä 2013 Alkuperäinen tavoite: analyysi ajalta ja vertailu edelliseen raporttiin Tutkimushallinnon tavoite: toiminnan suunnittelun tueksi analysoitua tietoa. Toiveena oli saada tietoa myös tiedekunta- ja laitostasolla, mutta HY:n rakenteellinen muutos 2010 teki tästä tavoitteesta mahdottoman Päädyttiin CWTS:n kehittämään ja tarjoamaan tieteen- ja tutkimusalakohtaiseen analyysiin koko ajanjaksolle /13

5 Data: se sama vanha, plus kaksi vuotta siihen päälle?
Tutkimustietojärjestelmä TUHAT otettiin käyttöön 2010, siihen oli tuotu takautuvasti julkaisut 2011 järjestelmä oli vielä uusi – 2014 kokemus sen käytöstä oli lisääntynyt merkittävästi Uudessa julkaisudatasetissä vanhempia julkaisuja oli tarkistettu, täydennetty, rajauksia selvennetty Julkaisudata ( julkaisua) lähetettiin CWTS:ään, joka poimi raakadatatietokannastaan HY:n julkaisut Uusi tarkistuskierros vei viikkoja – TUHATista puuttuneita julkaisuja löytyi lopulta tuhansia Uusi julkaisudatasetti huomattavasti tarkempi kuin aiempi

6 Porkkanoita tutkijoille?
Sekä 2011 että 2014 tehtiin analyysi koko HY:lle Aiemmassa arvioinnissa oli mukana myös 136 tutkijayhteisöä, joille tehtiin CWTS:ssä yhteisökohtaiset analyysit, mikäli julkaisuja ≥ 50 Arvioinnissa menestyneille yhteisöille oli tarjolla porkkanoita Tutkijat lukivat omien tutkijayhteisöjensä tuloksia tarkkaan Uudessa arvioinnissa ei ollut yhteisöjä, eivätkä tulokset tarkentuneet yksiköihin, joten tutkijoiden mielenkiinto jäi laimeammaksi Porkkanaefekti: alkuvuodesta 2015 ”Suomalaisen yliopistotutkimuksen tuottavuus ja vaikuttavuus” veti puoleensa HY:n tutkijoiden mielenkiinnon HY:n oman analyysin kustannuksella

7

8 Web of Science, koska… Web of Science valittiin koska:
OKM on käyttänyt sitä HY:n aiempi tutkimuksen arviointi käytti sitä CWTS/Leiden käyttää sitä HY:n tutkimustietojärjestelmään (TUHAT) importoidaan sieltä julkaisuja HY:n InCites-lisenssillä saamme julkaisudatatiedostoja, joiden avulla voimme itse tarkistaa/täydentää CWTS tunnisti lisää HY:n julkaisuja WoSissa Sama prosessi olisi ollut vaikeampi Scopuksessa

9 Käytetty laskentatapa: osittamaton
Joka julkaisu laskettiin 100%, riippumatta HY:n tekijöiden osuudesta HY:n tutkimuksen arvioinnissa 2011 ei ositettu Osittamaton analyysi yleinen silloin kun ei vertailla eri yliopistoja: tarkastellaan julkaisuja, jolloin yksittäisten julkaisujen painoarvoa ei pilkota Osittaminen piilottaisi yhteistyön vaikutuksen julkaisujen menestykselle Mutta: osittamattomat normalisoidut indikaattorit automaattisesti ”liian hyviä” (maailman keskiarvo ei oikeasti ole 1 vaikka niin määritellään) Laskentatapa herätti kysymyksiä, vaikea avata

10 Muut rajaukset Julkaisutyypit: Article, Review, Letter
Letter-julkaisun painoarvo 0,25 Viittaavan julkaisun tyyppi: mikä tahansa Itseviittaukset: poistettu Viittausten aikaikkuna: karttuva vanhemmilla julkaisuilla enemmän viittausikää Julkaisut Viittaukset vuodelta 2013 vain viittauksia, ei enää julkaisuja

11 Mitä luokittelua on käytetty?
NOWT-luokitus ollut käytössä Hollannin tutkimuksen arvioinnissa CWTS/Leiden jatkaa käyttöä perustuu WoSin luokituksiin 7 pääalaa (Disciplines) 35 tutkimusalaa (Research Areas) Web of Sciencessä on lisäksi 250 kategoriaa Tässä analyysissä ekstrana tuloksia 11 HY:n valitsemasta kategoriasta Julkaisun luokka ao. lehden luokituksen mukaan Luokittelu herätti kysymyksiä, joten tehtiin visualisointeja

12 Tiedekunnat ja tieteenalat eivät käyneet läheskään yksi yhteen

13 Tieteenalat ja tiedekunnat eivät käyneet läheskään yksi yhteen

14

15 Kysymys: osaako tutkija lukea indikaattoreita?
Ei välttämättä, mikäli niistä ei selviä, mikä on hänen oman yksikkönsä/tieteenalansa tilanne Kirjaston vastaus: tulosten visualisoinnit Lisämotivaattorina tulosten käyttötarkoitus, erityisesti rahoitusporkkanat Tässä julkaisuarvioinnissa ei ollut porkkanoita! Vertailtavuus (tai sen puute) aiempiin selvityksiin voi herättää kysymyksiä ja epäilyksiä ”Nordforskin selvityksessä aivan eri tulos, miksi?” Tulokset kiinnostavia ehkä vasta avattuna Tuloksia ei varsinaisesti markkinoitu

16 HY:n julkaisut määrällisesti visualisoituina aloittain
koko = volyymi väri = julkaisumäärä kasvanut (punertava suurempi)

17 Sisäinen kattavuus Kuinka suuri % julkaisujen lähdeviitteistä viittaa aineistoon, joka myös löytyy Web of Sciencestä? Koko aineiston sisäinen kattavuus 83,59 % Kattavuus + julkaisumäärä vaihtelee eri aloilla Ala Julkaisuja Kattavuus Medical + Life Sciences 18 016,50 88,74% Natural Sciences 8 870,75 80,38% Social + Behavioral Sci. 1 655,25 55,70% Engineering Sciences 703,50 69,71% Multidisciplinary 577,50 91,20% Law, Arts + Humanities 518,50 27,36% Lang. + Info. + Comm. 271,50 26,06% Lääketieteen hyvä kattavuus hukkuu isoon julkaisumäärään

18 Käytetyt indikaattorit
Normalisoimattomat Normalisoimattomat indikaattorit (riippuvat lukumääristä): Letter-julkaisut lasketaan painoarvolla 0,25 P = julkaisujen kokonaismäärä TCS = viittausmäärä (total citation score) MCS = TCS / P (mean citation score) PPnC = niiden julkaisujen prosentuaalinen osuus P:stä, joihin ei (vielä) ole viitattu Normalisoidut Lukumäärästä ja alasta riippumattomia, normalisoitu kunkin alan keskiarvon suhteen Ns. maailman keskiarvo: 1, osittamattomassa analyysissä maailman keskiarvo hiukan suurempi kuin 1 MNCS = mean normalized citation score MNJS = mean normalized journal score PPtop10% = julkaisut jotka ovat 10% viitatuimman joukossa PpnC kiinnosti enemmän kuin MNCS koska se on helppo hahmottaa!

19 Miten koko HY:llä meni? HY:llä meni hyvin (mutta emme vertailleet muihin) MNCS: 1,43 PPtop10%: 13,69% Menestyksekkäin ala ”MULTIDISCIPLINARY” MNCS: 4,35 PPtop10%: 33% Vahvat alat NATURAL + MEDICAL AND LIFE SCI. Aineistossa nämä vastaavasti parhaiten edustettuina Raportissa 7 / 35 kokonaisuudet, lisämateriaalissa (excel) myös kategoriatason tuloksia Tuloksia saattoi verrata vain HY:n aiempiin tuloksiin, mutta alkuvuosi oli sama

20 Indikaattorit Koko HY Kansainvälinen yhteistyö Kansallinen yhteistyö Ei yhteistyötä tai HY:n sisäinen Julkaisujen määrä (P) 27 942,25 14 405 7754,75 5782,5 Viittausten määrä (TCS) ,3 81 828 58 573,8 Viittausten keskiarvo (MCS) 14,54 18,46 10,55 10,13 Normalisoitu viittausten määrä (TNCS) 39,9 25 983,57 7 936,53 5 994,29 Viittausten määrän normalisoitu keskiarvo (MNCS) 1,43 1,80 1,02 1,04 Alan viitatuimpaan 10%:iin kuuluvien osuus (PPtop10%) 13,69 % 17,42 % 9,88 % 9,52 % Ei-viitattujen osuus (PPnC) 12,32 % 10,26 % 11,22 % 18,95 % Lehden keskimääräinen viittausindeksi (MNJS) 1,25 1,41 1,10 1,05

21 Kansallinen / kansainvälinen yhteistyö
Tumma väri = suurempi MNCS-taso

22 Trendejä: koko HY + 3 suurinta alakokonaisuutta

23 Erityisen menestyneet kategoriat
P > 100 Category P MNCS PPtop10% PHYSICS, NUCLEAR 148.83 5.49 21.12 % MEDICINE, GENERAL & INTERNAL 351.25 4.23 34.02 % PHYSICS, MULTIDISCIPLINARY 503.17 4.11 30.86 % MATHEMATICS 266.08 2.56 20.06 % PHYSICS, PARTICLES & FIELDS 498.67 2.15 13.38 % ASTRONOMY & ASTROPHYSICS 181.83 2.09 11.98 % BIOLOGY 107.88 1.85 18.50 % PHILOSOPHY 100.17 1.74 19.25 % GENETICS & HEREDITY 780.12 1.70 18.32 % AGRICULTURE, MULTIDISCIPLINARY 101.92 1.67 18.78 % CLINICAL NEUROLOGY 152.06 17.03 %

24 VOSviewer-visualisoinnit
Antavat havainnollista lisätietoa sisällöistä, eli mitä tutkimusta on lukujen ja otsikoiden takana Ennen johtopäätöksiä tietystä alasta voidaan katsoa, vastaako mielikuva tekijöitä / tutkimusalaa Termikartat: ohjelmallisesti poimitaan asiasanoja otsikoista ja abstrakteista ja tunnistetaan termien läheisyys ja niiden esiintyvyyden muutostrendi Yhteistekijyyskartat: ketkä ovat julkaisseet yhdessä? minkä yliopistojen kanssa on julkaistu yhdessä?

25 Kaikki kategoriat profiilikarttana
koko = volyymi väri = impaktin muutos (punertava suurempi)

26 Alakohtaiset visualisoinnit kiinnostaneet tutkijoita

27 Yhteistekijyyskartta, tietojenkäsittelytiede
(data: Scopus)

28 Täydentäviä analyysejä 2010-2013 julkaisuille
CWTS:n WoS-analyysit eivät riittäviä kaikille tieteenaloille Kirjastossa tehtiin täydentäviä analyysejä TUHAT-datasta koko HY:lle ja kaikille tiedekunnille Näin täydentäviä tuloksia myös SSH-aloille Julkaisujen määrä ja tyypit tiedekunnittain ja koko HY Julkaisun kieli tiedekunnittain ja koko HY Julkaisun kieli aineistotyypeittäin koko HY Kirjoittajien määrä julkaisussa tiedekunnat ja koko HY Julkaisufoorumipisteet

29 Julkaisutyyppien %-osuudet HY 2010-2013
Ohjaako OKM:n rahoitusmalli julkaisemaan englanninkielisiä artikkeleita arvostetussa vertaisarvioidussa tieteellisessä lehdessä?

30 Kielten %-osuudet (B1) 2010-2013
Kannattaako tutkijan kirjoittaa suomen kielellä?

31 Kirjoittajien määrät julkaisussa (keskiarvo)
Tekijämäärät kasvussa, erityisen selvästi luonnontieteissä (vaikka CERNin kollaboraatiot poistettu tuloksista) Esimerkkejä tiedekuntien tekijämääristä: 2010 2013 kasvu Matemaattis-luonnontieteellinen 5.5 12.3 124 % Bio- ja ympäristötieteellinen 3.9 4.8 23 % Valtiotieteellinen 1.6 1.8 13 % Lääketieteellinen 7.6 8.5 12 % Humanistinen 1.3 1.4 8 %

32 Julkaisufoorumitasoja yksiköittäin (2014 tasoluokat)
Yksiköt erittäin kiinnostuneita julkaisutasoistaan (porkkanaefekti) Laskenta 2014 tasojen mukaan osui hankalasti Julkaisufoorumin päivitykseen

33 Oliko hankkeesta hyötyä? Kannattiko?
Tuoretta tietoa julkaisutoiminnan kehityksestä Tutkimushallinnolle yliopiston toiminnanohjauksen tueksi Tiedekunnille ja erillisille laitoksille omaan suunnitteluun, mutta osui hankalaan ajankohtaan eikä palkinnut – Julkaisufoorumi vei mielenkiinnon Kirjastolle tarjoutui mahdollisuus uuteen Uusia osaajia mukaan, työn kautta oppimista Bibliometriikkapalveluiden kehittäminen Tutkimustietokannan hyödyntäminen ja kehittäminen Kirjaston organisaatiomuutos ja metriikkatiimin vakiinnuttaminen

34 Kiitos! Raportti, analyysit ja visualisoinnit: Helsingin yliopiston kirjaston metriikkatiimi: