Yliopistojen tutkimusarvioinnit ja bibliometriikka Tampereen yliopisto Yhteiskunta- ja kulttuuritieteiden yksikkö Tiedon, tieteen, teknologian ja innovaatioiden tutkimuskeskus TaSTI

Tutkimuksen toteutus TaSTIn työryhmä: Li Wang, Pia Vuolanto, Reetta Muhonen Alkuvaiheessa myös tutkimuksen kehittämispäällikkö Johanna Hakalan haastattelu Työ alkoi kesäkuussa 2013, raportti valmistuu lokakuun loppuun mennessä Raportti julkaistaan TaSTI:n työraportteja –sarjassa elektronisesti, pdf-versio vapaasti saatavilla

Tavoitteet Yhteenveto suomalaisten yliopistojen tutkimusarvioinneissa käytetystä bibliometriikasta Tarkastellaan lisäksi kahden muun maan yliopistojen tutkimusarvioinnin käytäntöjä Iso-Britannia: Research Excellence Framework (REF) Alankomaat: Standard Evaluation Protocol (SEP)

Tutkimuskysymykset Millaisia bibliometrisiä menetelmiä ja indikaattoreita yliopistojen tutkimuksen arvioinneissa on käytetty? Miten bibliometristen aineistojen hankinta ja analyysi on toteutettu yliopistojen tutkimusarvioinneissa?

Tarkastellut arviointiraportit Aalto-yliopisto 2009 Joensuun yliopisto 2008 Helsingin yliopisto 2005 ja 2012 Oulun yliopisto 2007 ja 2014 Tampereen yliopisto 2004 Lapin yliopisto 2013 Tampereen teknillinen yliopisto 2012 Lappeenrannan teknillinen yliopisto 2012 Jyväskylän yliopisto 2010 Vaasan yliopisto 2010 Turun yliopisto 2010 Svenska handelshögskolan 2012 Itä-Suomen yliopisto 2013 Kuopion yliopisto 2007–2008

Bibliometriikan osuus tutkimuksen arvioinneissa Tärkeimpänä arvioinnin menetelmänä vertaisarviointipaneeli Paneelit ovat keskittyneet tutkimustoiminnan laadulliseen arviointiin Monissa arvioinneissa bibliometriikka on vähäisessä roolissa Vaikka bibliometriikkaa käytettäisiin taustana paneelien työskentelylle, sen tuloksia ei esitetä lopullisessa arviointiraportissa Kuudessa raportissa systemaattinen bibliometrinen katsaus yliopiston tutkimustoimintaan → Aalto, HY, TTY, OY, TY, Hanken

Arviointiyksikön määrittely Kenen toimintaa arvioidaan? Kaksi laskutapaa henkilökunnan laskemisessa mukaan: Määrättynä laskenta-ajankohtana yliopiston palkkalistoilla olevat Yliopiston työsuhteessa olevat koko arviointijaksolla Arviointiyksikkö Tutkijoiden määrittelemät tutkijayhteisöt (HY ja OY) Olemassa olevat hallinnollisesti määrittyneet yksiköt (oppiaineet, tieteenalayksiköt, TTY ja Hanken) Poikkeuksena TY: arviointi kohdistui tieteenaloihin Tieteenalan mukaiset ryhmittelyt (TY)

Bibliometrisen aineiston kerääminen Vaihtoehtoisia keruutapoja: Yliopistokirjaston keräämä aineisto Ulkopuolisen asiantuntijan keräämä aineisto (esim. CWTS, Leiden) Julkaisujen sisällyttäminen Yleensä aina tieteellisten lehtien artikkelit Joskus konferenssijulkaisut

Bibliometrisen selvityksen toteuttaja HY, TTY, OY, Hanken: Center for Science and Technology Studies, Leiden, Alankomaat Aalto: Ulkopuolinen asiantuntija Ulf Sandström TY: Koulutussosiologian tutkimuskeskus RUSE

Arvioinneissa käytetyt bibliometriset tietokannat Aalto WoS HY WoS + TUHAT tietokanta (yliopiston tietokanta) TTY WoS OY WoS + WoS conference proceedings + Tutkii + Scopus Hanken WoS TY WoS + Essential Science Indicators

CWTS:n käytäntöjen mukaiset indikaattorit Tulosmittarit (output) Julkaisujen kokonaismäärä P Ositettu julkaisujen määrä Pf Vaikuttavuusmittarit (impact) Julkaisun saamien viittausten keskiarvo MCS Normalisoitu viittausten keskiarvo MNCS THCP 10: viittaukset suhteutettu maailmassa eniten viittauksia keräävään 10 prosentin joukkoon MNJS: julkaisun viittaukset suhteutettu lehden viittausmääriin Käytössä viidessä arviointiraportissa Muita Internal coverage: julkaisujen saamien viittausten määrä WoS-tietokannassa recency of references: viittausten keskimääräinen ikä/aika joka kulunut julkaisun ja viittauksen välillä Percentage of self-citation: itseviittausten osuus kaikista julkaisun saamista viittauksista

Muissa kuin CWTS:n käytännöissä hyödynnetään lisäksi OKM:n julkaisutyyppiluokittelu: 25 eri julkaisutyypin mukaan Julkaisufoorumi: tasoluokittain 1-3 Norjan julkaisufoorumi: tasoluokittain 1-2 TY: tieteenalakohtainen tarkastelu, yliopiston paikkakunnan mukaan, 47 suomalaisten yliopistojen tieteenalaa, tieteenalan sisällä TY:n vertailu muihin yliopistoihin

Tuloksiin vaikuttavia tekijöitä Normalisoinnin käytännöt voivat vaihdella Osittaminen: ositetaanko kirjoittajien lukumäärän mukaan Itseviittaukset: joissakin raporteissa lasketaan mukaan, toisissa poistetaan kaikkien tekijöiden itseviittaukset tai vain ensimmäisen tekijän itseviittaukset Aikaikkunalle (time window) pääsääntöisesti kaksi määrittelytapaa: Eri vuosien julkaisuille sama jakso, jolta viittaukset lasketaan tai Julkaisuvuosi määrittää ajan, jolta viittaukset lasketaan (esim. vuoden 2010 julkaisulle aikavälillä 2010-2012)

Käytännöt eri maissa

Alankomaat: Standard Evaluation Protocol, SEP Bibliometriikkaa ei pääsääntöisesti käytetä tutkimuksen arvioinnissa Tärkeimmässä osassa laadullinen arviointi: vertaisarviointipaneelin sanalliset arviot Kolme arviointiyksikön tarkastelutasoa: Tutkimuksen laatu Tutkimuksen yhteiskunnallinen vaikuttavuus Elinvoimaisuus (strateginen johtaminen) Arviointiyksiköiden tuottamissa itsearviointiraporteissa: tutkimushenkilökunnan määrä, julkaisuvolyymi, rahoituslähteet, tohtoriopiskelijoiden määrä

Alankomaat: Standard Evaluation Protocol, SEP Arviointikriteerit 1-4: maailmanluokan tutkimus, erittäin hyvä, hyvä, heikko Arviointiyksikön valinta: riittävä koko (oma strategia, laajuus vähintään 10 tutkimustyövuotta), riittävä aika perustamisesta (vähintään 3 vuotta), tunnettuus (pystyttävä nimeämään vertailuyksikkö ulkomailta)

Iso-Britannia: Research Excellence Framework, REF Paljon keskustelua bibliometriikan hyödyntämisestä tutkimuksen arvioinnissa RAE:n aikana ja sen jälkeen Lopputuloksena oli, että REF:ssa paneeli keskeisin arvioinnin muoto ja bibliometriikkaa hyödynnetään joillakin tieteenaloilla 36 arviointipaneelia, joista 11 hyödyntää bibliometriikkaa Tuloksia käytössä alkuvuodesta 2015

Johtopäätöksiä Tutkimuksen arvioinnin käytännöt vaihtelevat suuresti yliopistoittain Tässä tarkastelussa kuudessa raportissa käytetty bibliometriikka on hyvin monipuolista Bibliometrisen laskennan yksityiskohdat on toteutettu erilaisilla tavoilla, joten eri yliopistojen tutkimusarviointeja ei voida vertailla keskenään