Kulttuurin ja luovan alan T&K-projektien sisäisen arvioinnin kehittäminen Metropolia Ammattikorkeakoulussa Robert Arpo 5.3.2009.

Esitys aiheesta: "Kulttuurin ja luovan alan T&K-projektien sisäisen arvioinnin kehittäminen Metropolia Ammattikorkeakoulussa Robert Arpo 5.3.2009."— Esityksen transkriptio:

1 Kulttuurin ja luovan alan T&K-projektien sisäisen arvioinnin kehittäminen Metropolia Ammattikorkeakoulussa Robert Arpo 5.3.2009

2 Mitä arvioidaan? Hallinnollinen jako: EU-rahoittajan vaatima arviointi OPM:n vaatima koulutuksen arviointi Metropolian toiminnan kehittämistä palveleva arviointi Mikä muu näkökulma? -Prosessinhallintaa -Vaikuttavuutta

3 Arviointi projektin eri vaiheissa Hankkeen itsearvioinnin resurssointi Hankkeen itsearvioinnin esisuunnittelu Hankesuunnitelman itsearviointi Hankkeen toteutuksen itsearviointi Hankkeen päättäminen

4 Hankkeen itsearvioinnin resursointi ja esisuunnittelu Kuka tekee, kuka resursoi, kuka kantaa riskin? Hankeidean tarkoituksenmukaisuuden kriittinen tarkastelu suhteessa kohderyhmän tarpeisiin, ohjelman tavoitteisiin, oman organisaation tavoitteisiin jne. Tietoisuuden ja järjestelmällisyyden, dokumentoinnin tarve

5 Hankesuunnitelman itsearviointi Millä arviointikysymyksillä ja kriteeristöllä päästään kiinni suunnitelman toteutettavuuteen ja ennakoitujen tulosten kestävyyteen? Eli: Onko oletettavaa, että suunnitelmassa hahmotettuun projektin tarkoitukseen päästään ja siinä kyetään pysymään? Pidetään silmällä rahoittajan hankekokonaisuuden arviointikriteereitä

6 Arvioinnin avainalueet Relevanssi: Kuinka hyvin projektin tavoitteet kohtaavat todellisen tarpeen? Tuottavuus: Kuinka paljon tuotteita/palveluita saadaan aikaiseksi käytetyillä resursseilla? Taloudellisuus: Paljonko tuotoksia saadaan aikaan panostetuilla kustannuksilla? Tehokkuus: Kuinka hyvin tuotokset/tulokset vastaavat asetettuja tavoitteita? Vaikuttavuus: Miten hyvin projektilla aikaansaadut vaikutukset vastaavat hankkeelle asetettuja tavoitteita? Hyöty ja kestävyys: Mitkä ovat hankkeen todelliset nettovaikutukset verrattaessa aikaansaatuja vaikutuksia hankkeen alussa määriteltyihin tarpeisiin? Saavutetun hyödyn lisäksi voidaan tarpeiden ja vaikutusten suhteesta arvioida myös hankkeen vaikutusten kestävyyttä joko ennakoimalla tai pitkän ajan kuluessa mittaamalla. Miten mielletään? Täytyy avata em. terminologia kulttuurialan käyttöön TÄRKEÄ

7 Itsearviointiprosessin vaiheet Itsearvioinnin jäsentäminen Havainnointi Analysointi Arvion ja johtopäätösten muodostaminen

8 Itsearvioinnin jäsentäminen Arviointikysymykset -Onko projekti edennyt toivottuun suuntaan? Mitä vaikutuksia projektilla on? Toimiiko projekti relevanttien asioiden parissa? Onko ei-toivottuja vaikutuksia? Yms. -Arvioinnissa tutkittavat konkreettisen toiminnan vaikutukset: työllisyysvaikutukset, investoinnit, koulutettujen määrät yms. -Jäsentämismenetelminä esim. SWOT, Delfoi, LogFrame

9 Havainnointi -Havaintoaineiston keruumenetelmät: kyselyt, haastattelut, keskustelut yms. Analysointi Kaaviot, taulukot Panos-tuotos –mallit, vertailuryhmäanalyysit Arvion ja johtopäätösten muodostaminen - Useita johtopäätöksiä vai konsensusarvio?

10 Arvioinnin työkalujen valinta Työkalujen valinnassa tulee ottaa huomioon seuraavat seikat: työkalujen ominaisuudet ja rajallisuus, työkalujen hallinta ja niiden käytöstä saadut kokemukset, arvioinnille asetettu budjetti, arvioinnissa analysoitavien tietojen saatavuus, arvioinnin toteutuksen aikarajat, sekä arvioinnin kohde ja työkalun soveltuvuus sen toimintaympäristöön. (Lähde T-A-P)

11 Työkaluja Skenaariotyöskentely Delfoi Aivoriihi SWOT Logical Framework Vertailukehittäminen (benchmarking) Balanced Scorecard, EFQM