Julkaisufoorumi-luokituksen toteutus, käyttötavat ja vaikutukset

Esitys aiheesta: "Julkaisufoorumi-luokituksen toteutus, käyttötavat ja vaikutukset"— Esityksen transkriptio:

1 Julkaisufoorumi-luokituksen toteutus, käyttötavat ja vaikutukset
Research Round Table, UPI Helsinki Otto Auranen Tiedon, tieteen, teknologian ja innovaatioiden tutkimuskeskus Yhteiskunta- ja kulttuuritieteiden yksikkö Tampereen yliopisto

2 Lehtien ja kustantajien tasoluokitukset tutkimuksen arvioinnissa
Idea: saavutettu julkaisufoorumi kertoo julkaisutoiminnan tasosta (kysymys kuuluu, kuinka tarkasti) Samantyyppinen kuin lehtien vaikuttavuusindikaattorit Vaihtelevat motiivit Kansalliset: yleensä resurssien jako, julkaisutoiminnan mittaaminen Tieteenaloittaiset: alan näkyvyyden nosto, tutkijoiden informointi ”Bibliometrinen indikaattori”, joka perustuu vertaisarviointiin Toisaalta luokitukset usein bibliometriikan informoimia

3 Aiempia luokituksia Kansallisia: Norja (1. kerran ), Tanska (1. kerran ), Australia (1. kerran ) Tieteenaloittaisia: ESF: European Reference Index for the Humanities (1. kerran ), Association for Business Schools Motiiveja luokituksille Maan tutkimuksen näkyvyyden ja tason nostaminen Resurssien jakaminen etenkin yliopistoille Humanististen ja yhteiskuntatieteiden julkaisujen huono näkyvyys viittaustietokannoissa Väline suuren mittakaavan tutkimusarviointiin Keino erottaa korkeatasoiset julkaisufoorumit ”tavallisista”

4 Suomen Julkaisufoorumin tausta
Yliopistojen rehtorien neuvoston työryhmä tieteellisten julkaisujen laatuarvioinnista 2009 Raportti: vakiintuneet viittaustietokannat ja bibliometriset indikaattorit toimivat hyvin luonnon- ja lääketieteissä, osin teknisissä tieteissä, heikommin yhteiskunta- ja humanistisissa tieteissä Ehdotus: kaikki tieteenalat kattava lehtien, sarjojen ja kustantajien tasoluokitus Tieteellisten seurain valtuuskunnassa -> Julkaisufoorumi-hanke perustettiin 2010

5 Tavoitteet ja suunnitellut käyttötavat
Suurten julkaisumäärien arviointityökalu Yliopistojen ja tutkimuslaitosten julkaisutoiminta Tieteenalojen arviointi Suomen kaikkien yliopistojen julkaisutoiminta: julkaisutoiminnan laatua ilmaiseva indikaattori OKM:n valtiorahoitusmalliin Välittää (nuoremmille) tutkijoille tietoa julkaisukanavien tasosta -> Parempi tietoisuus julkaisutoiminnan kentästä eri aloilla -> Korkeampi ambitiotaso julkaisuvalinnoissa Paneeleilta näkemyksiä tieteellisen julkaisutoiminnan arvioinnista ja arviointitiedon käytöstä

6 Julkaisufoorumi-hanke (2010-2012)
Julkaisufoorumi-hanke 2010 Tieteellisten seurain valtuuskuntaan OKM:n rahoituksella TSV:n hallituksen nimittämä ohjausryhmä (pj. Niiniluoto) Syksyllä 2010 perustettiin 23 tieteenaloittaista asiantuntijapaneelia 210 jäsentä yliopistoilta, tutkimuslaitoksilta, tiedeseuroilta ja tiedeakatemioilta saatujen ehdotusten perusteella Ensimmäinen Julkaisufoorumi-luokitus valmis 2011, ”julkistus” Julkaisufoorumi-seminaarissa

7 Tasoluokittelun kriteerit
Tasoluokka on sama julkaisun tieteenalasta riippumatta Taso 1 = tieteellisten julkaisukanavien perustaso Valtaosa ulkomaisista ja kotimaisista julkaisukanavista Erikoistuneet tieteellisten tutkimustulosten julkaisuun, tieteenalan asiantuntijoista koostuva toimituskunta, julkaiseminen edellyttää laadunarviointia (vertaisarviointi) Taso 2 = johtavat tieteelliset julkaisukanavat Pääsääntöisesti kansainvälisiä tieteellisiä julkaisukanavia, joissa tutkijat eri maista julkaisevat parhainta tutkimustaan Johtavia suomen- ja ruotsinkielisiä lehtiä, sarjoja ja kirjakustantajia Taso 3 = korkein taso (lehdet ja sarjat) Tason 2 korkeatasoisimmat

8 Tasojen osuudet Tasolle 1 väh. 80 % kaikista lehdistä/sarjoista per paneeli Tasolle 2 max. 20 % kaikista lehdistä/sarjoista per paneeli Tasolle 3 max. 25 % tason 2 lehdistä (= 5 % paneelin lehtiluettelon kokonaismäärästä) Taso 3 käyttöön eräiden paneelien aloitteesta Vapaaehtoinen, kaikki paneelit ottivat käyttöön vaikka monet pitivät 2 tasoa riittävänä Kirjakustantajista n. 10 % tasolle 2 Ensimmäinen luokitus v. 2011 lehteä ja sarjaa, joista tasolla 2 n. 20% (tasolla 3 n. 5 %) 1 200 kirjakustantajaa, joista tasolla 2 n. 10%

9 Kriteerien ja ensimmäisen luokituksen tarkennukset
Pääsääntöisesti ei paikallista julkaisutoimintaa tasolle 1 Esim. yliopistojen tai tutkimuslaitosten julkaisusarjat, joissa julkaistaan pääosin ko. organisaation omien tutkijoiden töitä 60 tiedeseuran kannanotto alkuvuodesta > yhteiskunta- ja humanististen tieteiden paneelit lisäsivät suomen- ja ruotsinkielisten, sekä muun kuin englanninkielisten lehtien ja sarjojen määrää tasolla 2

10 Luokituksen päivitys ja ylläpito
Tasoluokitusten päivitys kolmen vuoden välein -> seuraava päivitys 2014 Välivuosina uusia julkaisukanavia mukaan tasolle 1 Julkaisufoorumi-luokitusta ylläpidetään TSV:ssa Paneelien kaudet kolmivuotisia -> 2010 valittujen paneelien kausi 2013 loppuun Yksi työntekijä: suunnittelija Janne Pölönen Nykyinen ohjausryhmä vuosille

11 Luokituksen päivitys ja ylläpito
Ensimmäiset lisäykset syksyllä 2012 (1 700 lehteä/sarjaa) Lähteinä tiedeyhteisön ehdotukset + OKM:n julkaisutiedonkeruu yliopistoista 2011 Jatkossa ns. ”0-luokka” niistä julkaisukanavista, joita paneelit eivät ole hyväksyneet tasolle 1 Tieteellisyys (toimituskunta + laadunarviointi) Paikallisuus (arvioijista ja kirjoittajista yli puolet edustaa samaa tutkimusorganisaatiota) Relevanssi suomalaisen tutkimuksen kannalta

12 Luokituksen päivitys ja ylläpito
Ratkaistavia kysymyksiä Miten arvioida ja tunnistaa kirja- ja konferenssisarjoja Miten varmistaa kirjakustantajien käyttämä vertaisarviointi Lehtien ja julkaisusarjojen tasojen osuuksien perustaminen vuosittaiseen artikkelivolyymiin, ei lehtien/sarjojen määrään Luokituksen ja (yliopistojen) julkaisutietojen yhdistäminen

13 Luokitukset verkossa Lehtien, sarjojen ja kustantajien hakusivu:
Hakutermeinä: nimi, ISSN-numero, luokitus, tieteenala (tulossa) Lehtiä, sarjoja ja kustantajia voi ehdottaa arvioitavaksi: (vaatii yksinkertaisen rekisteröitymisen)

14 Mihin luokitus sopii Suurten julkaisumäärien arviointiin
Maa Tieteenala Organisaatio Oletus: julkaisujen pääsääntöisesti valikoituvat korkeamman tasoluokituksen saaneisiin julkaisukanaviin laajan kilpailun ja vaativan vertaisarvioinnin seurauksena Julkaisufoorumi arviointityökaluna Ratkaisevaa kuinka laajasti julkaisutoiminta kokonaisuudessaan suuntautuu johtaviksi arvioituihin julkaisukanaviin, ei se missä yksittäiset artikkelit tai kirjat julkaistu

15 Mihin luokitus sopii Organisaation (tutkimuslaitoksen tai yliopiston) sisällä luokituksella voi seurata tietyn alan tai yksikön julkaisutoiminnan historiallista kehitystä Suuressa mittakaavassa: informaatiota tutkimusta arvioiville asiantuntijapaneeleille

16 Mihin luokitus ei sovi Liian karkea väline yksittäisten julkaisujen tai tutkijoiden arviointiin Johtavissa julkaisukanavissa ilmestyy myös keskitasoa heikompia ja ilman viittauksia jääviä julkaisuja, ja alemman tasoluokan julkaisukanavissa ilmestyy yksittäisiä keskitasoa laadukkaampia ja vaikuttavampia julkaisuja Julkaisufoorumin suositus: luokitus ei voi korvata julkaisujen sisältöön perustuvaa vertaisarviointia yksittäisten tutkijoiden tai tutkimusryhmien arvioinnissa

17 Mihin luokitus ei sovi Tutkimusongelmien ja julkaisukäytäntöjen eroista johtuen tason 2 ja 3 julkaisujen osuus vaihtelee tieteen- ja tutkimusaloittain –> luokituksella ei voi vertailla eri tieteenalojen julkaisutoimintaa keskenään Universaalit vs. kansalliset tutkimuskysymykset Perustutkimus vs. soveltava tutkimus/yhteiskunnallinen vaikuttaminen Julkaisutuottavuus (julkaisuja per tutkija) Yhteisjulkaiseminen vs. yksin julkaiseminen (osittaminen) Artikkelit vs. erillisteokset (monografioiden painotus)

18 Julkaisujen Jufo-tasot ja keskimääräiset alanormalisoidut viittausmäärät, suomalaista julkaisua (Auranen ym. 2013) (x-akseli: Jufo-paneelit, y-akseli: julkaisujen viittausmäärät, pylväät: julkaisujen Jufo-tasot)

19 Yksittäisten julkaisujen alanormalisoidut viittausmäärät Jufo-tasojen mukaan, Aalto-yliopiston matematiikan ja tilastotieteen paneeliala (Auranen ym. 2013) (x-akseli: julkaisut, y-akseli: Jufo-tasot ja viittausmäärät)

20 Tiedossa olevia käyttötapoja
Yliopistojen valtiorahoituksen jakomalli, 2015 alkaen: Turun yliopisto: osa yksiköiden tutkimuksen seurantajärjestelmää Tampereen teknillinen yliopisto: osa laitosten tuloksellisuusrahoitusta Lapin yliopisto: bonusta tutkijoille ja opettajille tasoilla 2 ja 3 julkaisemisesta

21 Keskustelu Julkaisufoorumista
Humanististen ja yhteiskuntatieteiden edustajat: periaatteellinen keskustelu Keskustelu pääosin paneelien ulkopuolella Julkaisutoiminnassa ei ole hierarkiaa Portinvartijavaikutukset Englannin kielen ylikorostus Arviointikriteerit kuitenkin linjassa julkaisukäyttäytymisen kanssa Suomenkielinen julkaiseminen lakkaa Niiniluoto 2010, 2012, Valkonen & Kinnunen 2011, Auranen & Pölönen 2011a, b, c, Ilva 2011, Ahonen ym. 2011, Jutila 2011a, b, Anckar 2011, Palonen & Rinne 2011, Patomäki 2011

22 Keskustelu julkaisufoorumista
Luonnon-, lääke- ja teknisten tieteiden edustajat: teknisempi keskustelu Keskustelu pääosin paneelien sisällä Viittausindikaattorit riittävät Luokitus ei erottele riittävästi Lehti- ja sarjaluettelot ovat liian liberaaleja: taso vaihtelee liikaa Luokitus on joidenkin julkaisukanavien kohdalla väärin

23 Havaittavia ja oletettavia vaikutuksia
Lisääntyvä tietoisuus julkaisutoiminnan kentästä ja tasoista -> Lisää käsikirjoitustarjouksia korkeamman tason lehtiin ja kustantajille Tiedeyhteisön aktiivisuus ehdottaa uusia julkaisukanavia luokitukseen ja luokitusten muutoksia Suomenkielinen julkaiseminen ei lakkaa tai merkittävästi vähene Uhkia: Käytetään ”helppona” työkaluna tutkijoiden arviointiin (väärin) Tieteelliset johtajat ajavat yksiulotteista keskittymistä korkeamman tason lehtiin ja kustantajiin

24 UPIn tutkimus- ja julkaisutoiminta Julkaisufoorumin valossa (lehtilistat Jouko Rajakiili)
"TOP 25": luetut ja tärkeinä pidetyt lehdet Lehdet joissa viime vuosina julkaistu (pl. päivälehdet) Cambridge review of international affairs 1 Asia Europe journal Comparative politics 3 Conflict, security & development Democratization 2 East European politics East European politics and societies European foreign affairs review Economist Geopolitics Global change, peace & security European security Global society European voice International affairs (London) Europe-Asia studies International journal on minority and group rights Financial Times    Kanava Foreign affairs Kosmopolis Foreign policy Perspectives Foreign policy analysis Regard sur l'Est [: frontieres recomposees a l'Est] Helsingin Sanomat Russia in global affairs International organization Southeast European and Black Sea studies International security World today International studies quarterly International studies review JCMS: Journal of common market studies Newsweek Suomen Kuvalehti World politics

25 Keskustelua Julkaisufoorumista
Ahonen, P. ym. (2011) Julkaisuluokitukset ja tieteen intressi. Yliopisto, 10/2011, Anckar, C. (2011) Vastaus Kosmopoliksen pääkirjoitukseen 2/2011. Kosmopolis, vol. 41, 3, 70. Auranen, O. ym. (2013) Julkaisufoorumi-luokitus ja viittausindeksit tieteellisten julkaisujen laadun mittareina: Web of Science -aineistoon perustuva vertailu. Työraportteja 8/2013. Tiedon, tieteen, teknologian ja innovaatioiden tutkimuskeskus, Yhteiskunta- ja kulttuuritieteiden yksikkö, Tampereen yliopisto. Auranen, O. & Pölönen, J. (2011a) Vastaus Jarno Valkoselle ja Veera Kinnuselle. Sosiologia, vol. 48, 2, Auranen, O. & Pölönen, J. (2011b) Vastaus Kosmopoliksen pääkirjoitukseen 2/2011. Kosmopolis, vol. 41, 3, Auranen, O. & Pölönen, J. (2011c) Tasoluokitus ja tieteen arvostukset. Yliopisto, 12/2011, Hellman, H. & Poteri, E. (2012): Kotimainen julkaisutoiminta uuden rahoitusmallin ja Julkaisufoorumin jälkeen. Media & viestintä, vol. 35, 3-4, Ilva, J. (2011) Julkaisuista tulospisteiksi. Tietolinja 1/2011,

26 Keskustelua Julkaisufoorumista
Jutila, M. (2011a) Pääkirjoitus. Kosmopolis, vol. 41, 2, 3-6. Jutila, M. (2011b) Pääkirjoitus. Kosmopolis, vol. 41, 3, 3-4. Niiniluoto, I. (2010) Julkaisufoorumi kannustaa laatuun. Tieteessä tapahtuu, 6/2010, 1-2. Niiniluoto, I. (2012) Julkaisufoorumi julkaisupolitiikan välineenä. Politiikka, vol. 54, Palonen, E. & Rinne, J. (2011) Minne Julkaisufoorumihanke ja paneeli 19 vievät tutkimusta? Kosmopolis, vol. 41, 3, Patomäki, H. (2011) Julkaisuluokittelun politiikkaa: teknologia ideologiana. Politiikka, vol. 53, 4, Valkonen, J. & Kinnunen, V. (2011) Sosiologia-lehti – johtava sosiologinen julkaisukanava. Sosiologia, vol. 48, 1, 1-3.