ATT-vaikuttavuusselvitystyöryhmä

Esitys aiheesta: "ATT-vaikuttavuusselvitystyöryhmä"— Esityksen transkriptio:

1 ATT-vaikuttavuusselvitystyöryhmä
Kansilehteä voi käyttää valokuvan kanssa tai ilman kuvaa. Kokous Anssi Neuvonen VTT

2 Palautetta strategiaryhmältä 14.10.
Kokonaisuutta ja työryhmälle asetettuja tavoitteita pidettiin haastavina ”Mitä sitten?” => linjausta kaivattiin (ei pelkkää kuvausta) Konkreettiset suositukset = linjaus? Alakohtaisia suosituksia? Organisaatiot toivon mukaan hyödyntävät työn tuloksia, mutta myös mahdollisesti tutkimusalat Uudet mittarit ja altmetriikka kiinnostavat Todettiin hyväksi, että ”avoimuutta avataan”: mitä avoimuus ja vaikuttavuus oikeastaan tarkoittavat

3 Avoimuuden asteen, vaikutusten ja hyödyntämisen arviointi
Näkökulma Tuotos Politiikat, strategiat Prosessit, toimintamallit, sopimukset Palvelut, tuotetut & käytetyt Kannustimet: palkitseminen, meritoituminen Julkaisut, esitelmät… Data, aineistot… Menetelmät, ohjelmistot…

4 Indikaattorien taulukointi, esimerkkimalli
Mitä mitataan? Miten mitataan? Parametri Mittari Näkyminen (1-3) Hyödyntäminen (1-3) Läpinäkyvyys (1-3) Luotettavuus (1-3) Saatavuus (1-3) Kvantitatiivinen (1-3) Sisällöllinen (1-3) Yhteensä Mendeley-tallennus 2 3 18 SlideShare-lataus 1 14 Maininta blogi-kirjoituksessa 10 Sitaatti tieteellisessä artikkelissa Maininta Twitter-viestissä 11 Näkyminen: tunnettuus – miten hyvin indikaattori mittaa kohteen saamaa julkisuutta Hyödyntäminen: miten hyvin indikaattori mittaa kohteen hyödyntämistä tai hyödyntämismahdollisuuksia Läpinäkyvyys: kuinka yksiselitteinen ja yleisesti hyväksytty mittari on? Luotettavuus: tekniset ominaisuudet - kuinka hyvin mittari sulkee pois virheelliset tulkinnat (esim. kohteiden ja toimijoiden identifikaatiovirheet) Saatavuus: kerättävyys - kuinka helposti / automatisoitavavasti mittariin on kerättävissä tietoa Kvantitatiivinen indikaattori: mittaa kohteeseen liittyvien tapahtumien lukumäärää Sisällöllinen indikaattori: mittaa kohteen yleistä merkitystä, laatua tai arvoa

5 Indikaattoreiden ryhmittelyjä
PLOS ALM (article level metrics) classification Lähde: Altmetrics in evolution - defining and refining the ontology of article-level metrics, Jennifer Lin, Martin Fenner. Information Standards Quarterly, Summer 2013, vol. 25 Issue 2, ImpactStory classification

6 Altmetriikka & tiede/tutkimus: huomioita
Käyttö – sivu- / pdf-lataukset ja –katselut – dominoi statistiikkaa Yleinen SoMe Rajallisellakin SoMe-aktiviteetilla pääsee listoilla korkealle Paljon sattumanvaraisuutta, manipulointi helppoa, isot erot / vaihteluvälit suuria – suosituimpien ja suuren massan välinen kuilu iso Facebook / blogit: aika vähän roolia => erottuminen jo muutamalla blogikirjoituksella / FB-päivityksellä (”coverage of the altmetrics, and particularly those other than Twitter, may be low”) Twitter elää hetkessä, ”buzz” osuu hyvin pienelle aikavälille: ”historiaton”; twiitit mahdollisesti ”early indicators” / ”proxies”. Mutta voidaanko proxyä ylipäätään käyttää ”virallisiin” arviointeihin? Jos twiittejä lasketaan, niin seuraajien yhteismäärä mukaan arviointiin? Tai mieluummin ehkä ”twittaajien h-index”? (esim. ”50 twiittaajaa, joilla on vähintään 50 / 500 seuraajaa” tms.) Hyvä otsikko lisää twiittejä (vaikka artikkelia ei lueta), esim. ”Walking an extra 2000 steps a day reduces cardiovascular events in people at high risk of type 2 diabetes” (BMJ, Note) CiteULike: katoamassa? HY-Terkon kokemus: SoMe keskittyy muutamaan suosittuun teemaan – ”nukkuminen, syöminen ja liikunta” keräävät valtaosan huomiosta Terkon aineistossa Jos artikkelilla laaja kirjoittajakunta ja isoja sponsoreita + review-artikkeli tai käytännön läheinen näkökulma (ohjeistukset, viralliset suositukset, standardit…) => paljon SoMe-aktiviteettia?

7 Altmetriikka & tiede/tutkimus: huomioita
Tieteen oma SoMe Mm. Mendeley-, ResearchGate-, Academia.edu –tallennukset & -merkinnät Palveluiden käyttö on melko hyvä mittari Osaa palveluista käytetään kahdella tavalla – toimijan verkottuminen & yleinen näkyvyys + lähdeaineistojen hallinta – mikä otettava huomioon Korrelaatioita mittareiden välillä erittäin vaikea löytää? Toisaalta: ”increased altmetric scores tend to associate with increased citations” (Do Altmetrics Work? Mike Thelwall et al. PLOS ONE, DOI: /journal.pone ) Paljon kysymyksiä Mitä lopulta tarkoittaa? mitä tuo lisää arviointiin? mitä johtopäätöksiä? Altmetriikka ei mittaa tieteen avoimuuden astetta: mittarit ”sokeita” avoimuudelle Yleinen SoMe, varsinkin Twitter, voi tarjota varhaisen indikaation tulevasta aktiviteetista, mutta varsinainen mitattava aktiviteetti kuitenkin muualla? Pelkkä article/artifact level metrics vai myös toimijan (näkyvyyden / vaikuttavuuden) metriikka?

8 Uudet indikaattorit: alustavaa priorisointia
Aineistojen katselu / lataukset = viewed / downloaded OK ALM Etuja: läpinäkyvä ja ymmärrettävä mittari, teknisesti melko suoraviivainen, vakiintunut Haittoja: ei kuvaa lainkaan varsinaista hyödyntämistä (poikkeuksena osittain avoimet ohjelmistot); latauskohteiden rajaaminen haastavaa (esim. youtube-videot) Tieteen ja tutkimuksen SoMe OK Tallennus (captures / saves / reference management / bookmarking) OK ALM Suosittelut? OK? ALM Näkyvyys / verkottuminen / kollegat OK? Ei ALM Etuja: palveluja käytetään laajasti tiedeyhteisössä, korreloi lähtökohtaisesti melko hyvin myös hyödyntämisen kanssa, osa palveluista melko luotettavia ja vakiintuneita Haittoja: läpinäkyvyys ei kovin hyvä, mittaamisen menetelmät vaihtelevat, manipulointi mahdollista, palveluiden tuottajat voivat vaihtua, näkyvyys / verkkottuminen ongelmallinen indikaattori (ei ALM-tyyppinen mittari) Yleinen SoMe ??? Hyödyt vaikuttavuuden arvioinnissa toistaiseksi kyseenalaiset Ero artefaktien (tuotokset) ja entiteettien (toimijat) välillä epäselvä => kuvaako mittari tuotoksen käyttöä/hyödyntämistä vai toimijan näkyvyyttä?

9 Mitä mittareita? Lähtöoletus?
Läpinäkyvä Vakiintunut Tulkinta

10 Uusiin indikaattoreihin liittyviä riskejä?
Mitä riskejä sisältyy uusien indikaattorien käytöönottoon? Indikaattorien manipulointi helppoa (rajoitteista ja tarkistuksista huolimatta) Virheet toimijoiden ja tutkimustulosten identifioinnissa Ohjaavat tutkimusta korostetusti julkisuudessa oleviin aiheisiin Vähemmän julkisuudessa näkyvään perustutkimukseen ei panosteta riittävästi Luovat painetta tutkimuksen avoimuuteen: yritysrahoitus voi hakeutua muualle, jos avoimuuden ehdoista ja IPR:stä ei päästä toimiviin ratkaisuihin Määrällinen arviointi korvaa entistä enemmän laadullisia arviointeja (ml. peer-preview) Tieteelliseen laadukkuuteen nyt liittyvä konsensus voi heikentyä – ennen uuden syntymistä Mitä riskejä sisältyy siihen, että indikaattoreita ei oteta käyttöön? Innovaatiotoiminnan vauhdittuminen ja sen tuoma taloudellinen toimeliaisuus ei toteudu optimaalisesti Tieteen ja tutkimuksen yhteiskunnallinen ja poliittinen legitimiteetti rapautuu Julkinen rahoitus tutkimukselle vähenee edelleen Joillain aloilla tutkimuksen laatu ja tulokset voivat kärsiä, mikäli avoimuuteen ja laajaan verkostoitumiseen ei panosteta riittävästi Tutkimuksen vaikuttavuus heikkenee, koska verkostoituminen ei optimaalista Suomalaiset toimijat eivät täytä edellytyksiä kansainväliselle tutkimusyhteistyölle ja ehtoja yhteisrahoitukselle Suomi menettää asemiaan kansainvälisissä vaikuttavuusvertailuissa

11 Työryhmän aikataulusta
Loppuvuosi 2014 ATT-tiekartta kommentoitu, julkistus Yliopistoille, korkeakouluille ja tutkimuslaitoksille suunnatun kyselyn laatiminen Malli – ATT-yhteinen vai erillinen kysely? Kysymykset – esim. Uudet indikaattorit (esimerkkejä): käytetäänkö niitä ja miten? Uudet indikaattorit: tuotetaanko ja miten? Vaikuttavuusmittaamisen palvelut: käytetäänkö, mitä ja miten? Vaikuttavuusmittaamisen palvelut: tuotetaanko, mitä ja miten? Vapaat kommentit (avoimuuden) mittaamiseen liittyen: organisaation nykyinen kanta / tahtotila mittaamiseen ja sen hyödyntämiseen, erityisesti avoimuutta tukevasta näkökulmasta Lisäksi ehkä: avoimuuden palkitseminen ja siinä meritoituminen Pienyhmien kokoontuminen, kokonaisuuden arviointi ja työn palastelu osiin 2015 Pienryhmien työt: tammi-helmikuu Kyselyn tulosten purku: helmikuu Kansainvälisen tilannekuvan (indikaattorit ja palvelut) tulosten hyödyntäminen raportin viimeistelyssä (maalis-huhtikuu)

12 Pohdittavaa Pienryhmät
Konkreettiset tavoitteet Toimintapa Aikataulu Kyselyn tavoite: mihin pyritään? Mitä halutaan tietää? Kuinka laaja/suppea kysymyspatteristo on riittävä? Kansainvälisen tilanteen kartoitus Miten tehdään? Hyödynnettäviä raportteja ja tutkimuksia saatavilla Kuka tekee? Jos työ tilataan ulkopuoliselta tekijältä, niin aikataulu on sovitettava työryhmän aikatauluun Tulosten hyödyntäminen loppuraportissa Indikaattorit: avoimuus-näkökulma tuotava mukaan muilla kuin altmetriikka-indikaattoreilla

13 TEKNOLOGIASTA TULOSTA
Päätöskalvo ei ole pakollinen VTT:n sisäisissä esityksissä.