ATT-vaikuttavuusryhmä –alustavia suosituksia Avoin tiede ja tutkimus -hankeen työryhmäseminaari Hanna-Mari Puuska CSC – Tieteen tietotekniikan keskus Oy

ATT-vaikuttavuusselvitystyöryhmän kokoonpano Anssi Neuvonen, VTT (puheenjohtaja) Jukka Englund, Helsingin yliopisto Jukka Haapamäki, opetus- ja kulttuuriministeriö Elise Johansson, Turun yliopisto Aila Louhelainen, Oulun yliopisto Ulla Mäkeläinen, opetus- ja kulttuuriministeriö Anu Nuutinen, Suomen Akatemia Hanna-Mari Puuska, CSC (sihteeri) Tuija Sonkkila, Aalto-yliopisto Sirpa Thessler, LYNET Antti Tuomi-Nikula, Terveyden ja hyvinvoinnin laitos Jyrki Ilva, Kansalliskirjasto (asiantuntijana) 2

Ryhmän toimeksianto Vaikuttavuuden arvioinnin kehittämiseksi selvitetään avoimen tieteen tuoman muutoksen vaikutukset: miten arviointiin tuodaan mukaan käyttöpuoli (lataukset, katselut, data ja menetelmäviittaukset), vertaisarvioinnin muutokset, sitaatiot uusin tavoin sekä altmetriikka. Kokonaisuus tulee hahmottaa niin julkaisujen, datan kuin menetelmien näkökulmasta. Tehtävänä on selvittää kansainvälinen tilannekuva, sekä laatia ehdotus siitä, mitä seurantaindikaattoreita olisi syytä nostaa korkeakoulujen seurantaan avoimen tieteen ja tutkimuksen edistymisen seuraamiseksi, vaikuttavuuden arvioimiseksi sekä tarvittavien meritointimekanismien edistämiseksi. Tulos: Selvitys, jossa kuvaillaan tarvittavat indikaattorimuutokset. 3

Avoimuuden ja sen mahdollistaman vaikuttavuuden indikaattorit, ulottuvuuksia: 1.Julkaisujen avoin saatavuus 2.Tutkimusaineistojen ja ohjelmistojen avoin saatavuus 3.Altmetriikka

Avoimen julkaisemisen mittaamisen edellytykset Avointa julkaisemista mittaavia indikaattoreita on mahdollista ottaa käyttöön lähitulevaisuudessa Edellytyksiä: Open access -julkaisemisen palkitseminen niin, että se kannustaa korkeatasoiseen tieteelliseen julkaisemiseen avoimesti saatavilla olevissa julkaisukanavissa Yksimielisyys avoimuuden määrittelystä ja sisällöstä (esim. tallennuspaikat, embargo- ajat, pitkäaikaissaatavuus) Mittareiden tietopohja kattava ja läpinäkyvä OKM:n julkaisutiedonkeruun open access -tietopohjan laatua parannettava

YliopistotAmmattikorkeakoulut Lkm% % Ei Open access -julkaisu % % Open access -julkaisu % % Open access -julkaisu, rinnakkaistallennettu %4225 % Ei tietoa %4025 % Yhteensä % % Lähde: Vipunen - Korkeakoulujen julkaisutiedot vuosilta 2012–13 Vipunen Suomalaisten korkeakoulujen julkaisujen avoin saatavuus OKM:n nykyisen julkaisutiedonkeruun mukaan

Työryhmän alustavat suositukset, julkaisujen avoin saatavuus OKM:lle: – Avoimen saatavuuden nykytilan kartoittaminen korkeakoulujen julkaisutiedonkeruuaineiston ja Julkaisufoorumin julkaisukanavatietokannan perusteella – Avoimen julkaisemisen seurantaindikaattorien kehittäminen ja kerättävien tietojen laadun parantaminen – Kun tietopohja kunnossa, avoin saatavuus korkeakoulujen rahoitusmallien elementiksi painottamalla open access -julkaisuja valitulla kertoimella (esim. 1,1 tai 1,2) Tutkimusorganisaatioille: – Oman julkaisuarkiston ja rinnakkaistallentamisen prosessin kehittäminen – Avoin saatavuus -tietojen luotettavuuden ja kattavuuden parantaminen – Avoimuuden kehityksen seuranta

Tutkimuksen avoimuutta ja vaikuttavuutta kuvaavat uudet mittarit Tutkimusaineistojen ja ohjelmistojen avoin saatavuus, saavutettavuus ja jatkokäyttö Datametriikka Altmetriikka, esim. (mittaa tuotosten näkyvyyttä ja käyttöä esim. tieteellisessä ja sosiaalisessa mediassa) Katselu (viewing) Tallennus/merkintä (saving/bookmarking/capture) Keskustelu/maininta/kommentointi (discussion/mention) Suosittelu (recommendation) Viittaus (citation) 8

Tutkimuksen avoimuutta ja vaikuttavuutta kuvaavat uudet mittarit Indikaattorit ja tietopohja eivät vielä tarpeeksi vakiintuneita, jotta niitä voitaisiin ottaa käyttöön tutkimuksen arvioinnissa ja ohjauksessa: Mittareille tai mitattaville ilmiöille ei vielä vakiintunutta tulkintaa Eivät välttämättä kuvaa julkaisun tieteellistä tasoa tai vaikuttavuutta Indikaattorit saattavat olla manipuloitavissa Aineistoa saatavilla vielä rajoitetusti Mittarien luotettavuus ja kattavuus vaihtelee mm. tieteenalan ja julkaisun kielen mukaan 9

Työryhmän alustavat suositukset, tutkimusaineistojen avoimuus- ja altmetriikkamittarit OKM:lle – Kansainvälisen indikaattorikehityksen seuranta – Uusien indikaattoreiden tietopohjan kehittäminen – ml. tietojen keruu avoimesti saatavilla olevien aineistojen/ohjelmistojen määristä ja käytetyistä sopimusmalleista – Ei vielä tässä vaiheessa ohjaus- tai seurantaindikaattoriksi Tutkimusorganisaatioille – Indikaattoritietoja (julkaisujen ja tutkimusaineistojen lataustiedot, altmetriikka, jatkossa datametriikka) kannattaa tuottaa tutkijoiden käyttöön (esimerkkejä HY:n Terkko Scholar Chart, THL:n Julkari) – Perustelu: lisää tutkijoiden motivaatiota julkaisujen lisäksi myös tutkimusaineistojen ja - ohjelmistojen avaamiseen ja niistä tiedottamiseen eri medioissa

Kiitos! Lisätietoa: hanna-mari.puuska(at)csc.fi