Miten vaikutuksia mitataan?

Esitys aiheesta: "Miten vaikutuksia mitataan?"— Esityksen transkriptio:

1 Miten vaikutuksia mitataan?
Tarmo Lemola Tieteen vaikuttavuus –seminaari, Helsingin yliopiston pieni juhlasali,

2 Mitä mitataan (pyritään mittaamaan)?
Tuloksellisuus Tuottavuus Tehokkuus Relevanssi Panosten ja tuotosten suhde Taso Laatu Suorituskyky Vaikuttavuus Vaikutukset Vaikuttavuus on oikeiden asioiden tekemistä tehokkaasti.

3 Analyysitasot Yksilö (tutkija) Tutkimusryhmä Tieteenala
Tutkimusorganisaatio Rahoitusorganisaatio Kansallisvaltio EU

4 Miksi mitataan? Voimavarojen niukkuus/niukentuminen
Tutkimustoiminnan kalleus/kallistuminen Kilpailun kiristyminen Epävarmuus Tietämättömyys/uteliaisuus Luottamuksen puute

5 Mittaamiseen liittyviä haasteita
Kysymys on hyvin moniaineksisesta kokonaisuudesta (tiede, teknologia, innovaatiot, vaikutukset) Vaikutusten toteutumisen aikajänne on pitkä Merkittävä osa vaikutuksista on epäsuoria Vaikuttavia tekijöitä ja toimijoita on useita Vain osa vaikutuksista on kvantifioitavissa Saatavilla oleva valmis tieto pikemmin kuin tiedon tarve ohjaa mittaamista © Advansis Oy 2006

6 Perinteinen panos-tuotos -malli
PANOKSET TOIMINTA TUOTOKSET/ TULOKSET VAIKUTUKSET © Advansis Oy 2008

7 Panokset Tutkimus- ja kehittämistyön sekä koulutuksen määrärahat
Tutkimus- ja kehittämishenkilöstön määrä Tilat ja laitteet

8 Tuotokset Julkaisut, viitteet, tutkinnot, huomionosoitukset
Keksintöilmoitukset, patentit, spin-off –yritykset Uudet tuotteet ja palvelut, tuotantoprosessit Korkean, teknologian tuotanto ja vienti, teknologinen maksutase

9 Toiminta Yhteistyö, verkostoituminen, kansainvälistyminen
Tutkijoiden liikkuvuus Projektien toteutus

10 Vaikutukset Science impacts Technology impacts Economy impacts
Culture impacts Society impacts Policy impacts Organisation impacts Health impacts Environment impacts Symbolic impacts Training impacts OECD: STI Outlook 2008 © Advansis Oy 2006

11 Miten mitataan? Arvioinnit /evaluoinnit Indikaattorit
Asiantuntija-arvioinnit Kyselyt ja haastattelut Indikaattorit Kilpailukykyvertailut Tieteelliset tutkimukset Ekonometriset tutkimukset Yhteiskuntatieteelliset tutkimukset Pitkittäistutkimukset Tapaustutkimukset Monimenetelmätutkimukset (triangulaatio)

12 Yhteenveto Ei ole olemassa viisasten kiveä tutkimustoiminnan vaikutusten kunnolliseksi mittaamiseksi. Parhaatkin mittarit ovat sijaismittareita, joihin liittyy useita ongelmia. Mieluummin huono mittari oikeista asioista kuin hyvä mittari vääristä! Mittaamisesta ei ole syytä luopua. On tutkittava ja kehitettävä parempia mittareita ja mittaamistapoja. Käyttäjien on tunnettava hyvin mittareiden hyvät ja huonot puolet. Hyvää etukäteisarviointia ja valintaa ei korvaa paraskaan jälkikäteismittaaminen.

13 Kiitoksia!