Esittely latautuu. Ole hyvä ja odota

Esittely latautuu. Ole hyvä ja odota

Yliopistojen tutkimusarvioinnit ja bibliometriikka

Samankaltaiset esitykset


Esitys aiheesta: "Yliopistojen tutkimusarvioinnit ja bibliometriikka"— Esityksen transkriptio:

1 Yliopistojen tutkimusarvioinnit ja bibliometriikka
Tampereen yliopisto Yhteiskunta- ja kulttuuritieteiden yksikkö Tiedon, tieteen, teknologian ja innovaatioiden tutkimuskeskus TaSTI

2 Tutkimuksen toteutus TaSTIn työryhmä: Li Wang, Pia Vuolanto, Reetta Muhonen Alkuvaiheessa myös tutkimuksen kehittämispäällikkö Johanna Hakalan haastattelu Työ alkoi kesäkuussa 2013, raportti valmistuu lokakuun loppuun mennessä Raportti julkaistaan TaSTI:n työraportteja –sarjassa elektronisesti, pdf-versio vapaasti saatavilla

3 Tavoitteet Yhteenveto suomalaisten yliopistojen tutkimusarvioinneissa käytetystä bibliometriikasta Tarkastellaan lisäksi kahden muun maan yliopistojen tutkimusarvioinnin käytäntöjä Iso-Britannia: Research Excellence Framework (REF) Alankomaat: Standard Evaluation Protocol (SEP)

4 Tutkimuskysymykset Millaisia bibliometrisiä menetelmiä ja indikaattoreita yliopistojen tutkimuksen arvioinneissa on käytetty? Miten bibliometristen aineistojen hankinta ja analyysi on toteutettu yliopistojen tutkimusarvioinneissa?

5 Tarkastellut arviointiraportit
Aalto-yliopisto 2009 Joensuun yliopisto 2008 Helsingin yliopisto 2005 ja 2012 Oulun yliopisto 2007 ja 2014 Tampereen yliopisto 2004 Lapin yliopisto 2013 Tampereen teknillinen yliopisto 2012 Lappeenrannan teknillinen yliopisto 2012 Jyväskylän yliopisto 2010 Vaasan yliopisto 2010 Turun yliopisto 2010 Svenska handelshögskolan 2012 Itä-Suomen yliopisto 2013 Kuopion yliopisto 2007–2008

6 Bibliometriikan osuus tutkimuksen arvioinneissa
Tärkeimpänä arvioinnin menetelmänä vertaisarviointipaneeli Paneelit ovat keskittyneet tutkimustoiminnan laadulliseen arviointiin Monissa arvioinneissa bibliometriikka on vähäisessä roolissa Vaikka bibliometriikkaa käytettäisiin taustana paneelien työskentelylle, sen tuloksia ei esitetä lopullisessa arviointiraportissa Kuudessa raportissa systemaattinen bibliometrinen katsaus yliopiston tutkimustoimintaan → Aalto, HY, TTY, OY, TY, Hanken

7 Arviointiyksikön määrittely
Kenen toimintaa arvioidaan? Kaksi laskutapaa henkilökunnan laskemisessa mukaan: Määrättynä laskenta-ajankohtana yliopiston palkkalistoilla olevat Yliopiston työsuhteessa olevat koko arviointijaksolla Arviointiyksikkö Tutkijoiden määrittelemät tutkijayhteisöt (HY ja OY) Olemassa olevat hallinnollisesti määrittyneet yksiköt (oppiaineet, tieteenalayksiköt, TTY ja Hanken) Poikkeuksena TY: arviointi kohdistui tieteenaloihin Tieteenalan mukaiset ryhmittelyt (TY)

8 Bibliometrisen aineiston kerääminen
Vaihtoehtoisia keruutapoja: Yliopistokirjaston keräämä aineisto Ulkopuolisen asiantuntijan keräämä aineisto (esim. CWTS, Leiden) Julkaisujen sisällyttäminen Yleensä aina tieteellisten lehtien artikkelit Joskus konferenssijulkaisut

9 Bibliometrisen selvityksen toteuttaja
HY, TTY, OY, Hanken: Center for Science and Technology Studies, Leiden, Alankomaat Aalto: Ulkopuolinen asiantuntija Ulf Sandström TY: Koulutussosiologian tutkimuskeskus RUSE

10 Arvioinneissa käytetyt bibliometriset tietokannat
Aalto WoS HY WoS + TUHAT tietokanta (yliopiston tietokanta) TTY WoS OY WoS + WoS conference proceedings + Tutkii + Scopus Hanken WoS TY WoS + Essential Science Indicators

11 CWTS:n käytäntöjen mukaiset indikaattorit
Tulosmittarit (output) Julkaisujen kokonaismäärä P Ositettu julkaisujen määrä Pf Vaikuttavuusmittarit (impact) Julkaisun saamien viittausten keskiarvo MCS Normalisoitu viittausten keskiarvo MNCS THCP 10: viittaukset suhteutettu maailmassa eniten viittauksia keräävään 10 prosentin joukkoon MNJS: julkaisun viittaukset suhteutettu lehden viittausmääriin Käytössä viidessä arviointiraportissa Muita Internal coverage: julkaisujen saamien viittausten määrä WoS-tietokannassa recency of references: viittausten keskimääräinen ikä/aika joka kulunut julkaisun ja viittauksen välillä Percentage of self-citation: itseviittausten osuus kaikista julkaisun saamista viittauksista

12 Muissa kuin CWTS:n käytännöissä hyödynnetään lisäksi
OKM:n julkaisutyyppiluokittelu: 25 eri julkaisutyypin mukaan Julkaisufoorumi: tasoluokittain 1-3 Norjan julkaisufoorumi: tasoluokittain 1-2 TY: tieteenalakohtainen tarkastelu, yliopiston paikkakunnan mukaan, 47 suomalaisten yliopistojen tieteenalaa, tieteenalan sisällä TY:n vertailu muihin yliopistoihin

13 Tuloksiin vaikuttavia tekijöitä
Normalisoinnin käytännöt voivat vaihdella Osittaminen: ositetaanko kirjoittajien lukumäärän mukaan Itseviittaukset: joissakin raporteissa lasketaan mukaan, toisissa poistetaan kaikkien tekijöiden itseviittaukset tai vain ensimmäisen tekijän itseviittaukset Aikaikkunalle (time window) pääsääntöisesti kaksi määrittelytapaa: Eri vuosien julkaisuille sama jakso, jolta viittaukset lasketaan tai Julkaisuvuosi määrittää ajan, jolta viittaukset lasketaan (esim. vuoden 2010 julkaisulle aikavälillä )

14 Käytännöt eri maissa

15 Alankomaat: Standard Evaluation Protocol, SEP
Bibliometriikkaa ei pääsääntöisesti käytetä tutkimuksen arvioinnissa Tärkeimmässä osassa laadullinen arviointi: vertaisarviointipaneelin sanalliset arviot Kolme arviointiyksikön tarkastelutasoa: Tutkimuksen laatu Tutkimuksen yhteiskunnallinen vaikuttavuus Elinvoimaisuus (strateginen johtaminen) Arviointiyksiköiden tuottamissa itsearviointiraporteissa: tutkimushenkilökunnan määrä, julkaisuvolyymi, rahoituslähteet, tohtoriopiskelijoiden määrä

16 Alankomaat: Standard Evaluation Protocol, SEP
Arviointikriteerit 1-4: maailmanluokan tutkimus, erittäin hyvä, hyvä, heikko Arviointiyksikön valinta: riittävä koko (oma strategia, laajuus vähintään 10 tutkimustyövuotta), riittävä aika perustamisesta (vähintään 3 vuotta), tunnettuus (pystyttävä nimeämään vertailuyksikkö ulkomailta)

17 Iso-Britannia: Research Excellence Framework, REF
Paljon keskustelua bibliometriikan hyödyntämisestä tutkimuksen arvioinnissa RAE:n aikana ja sen jälkeen Lopputuloksena oli, että REF:ssa paneeli keskeisin arvioinnin muoto ja bibliometriikkaa hyödynnetään joillakin tieteenaloilla 36 arviointipaneelia, joista 11 hyödyntää bibliometriikkaa Tuloksia käytössä alkuvuodesta 2015

18 Johtopäätöksiä Tutkimuksen arvioinnin käytännöt vaihtelevat suuresti yliopistoittain Tässä tarkastelussa kuudessa raportissa käytetty bibliometriikka on hyvin monipuolista Bibliometrisen laskennan yksityiskohdat on toteutettu erilaisilla tavoilla, joten eri yliopistojen tutkimusarviointeja ei voida vertailla keskenään


Lataa ppt "Yliopistojen tutkimusarvioinnit ja bibliometriikka"

Samankaltaiset esitykset


Iklan oleh Google