Kulttuurin ja luovan alan T&K-projektien sisäisen arvioinnin kehittäminen Metropolia Ammattikorkeakoulussa Robert Arpo

Mitä arvioidaan? Hallinnollinen jako: EU-rahoittajan vaatima arviointi OPM:n vaatima koulutuksen arviointi Metropolian toiminnan kehittämistä palveleva arviointi Mikä muu näkökulma? -Prosessinhallintaa -Vaikuttavuutta

Arviointi projektin eri vaiheissa Hankkeen itsearvioinnin resurssointi Hankkeen itsearvioinnin esisuunnittelu Hankesuunnitelman itsearviointi Hankkeen toteutuksen itsearviointi Hankkeen päättäminen

Hankkeen itsearvioinnin resursointi ja esisuunnittelu Kuka tekee, kuka resursoi, kuka kantaa riskin? Hankeidean tarkoituksenmukaisuuden kriittinen tarkastelu suhteessa kohderyhmän tarpeisiin, ohjelman tavoitteisiin, oman organisaation tavoitteisiin jne. Tietoisuuden ja järjestelmällisyyden, dokumentoinnin tarve

Hankesuunnitelman itsearviointi Millä arviointikysymyksillä ja kriteeristöllä päästään kiinni suunnitelman toteutettavuuteen ja ennakoitujen tulosten kestävyyteen? Eli: Onko oletettavaa, että suunnitelmassa hahmotettuun projektin tarkoitukseen päästään ja siinä kyetään pysymään? Pidetään silmällä rahoittajan hankekokonaisuuden arviointikriteereitä

Arvioinnin avainalueet Relevanssi: Kuinka hyvin projektin tavoitteet kohtaavat todellisen tarpeen? Tuottavuus: Kuinka paljon tuotteita/palveluita saadaan aikaiseksi käytetyillä resursseilla? Taloudellisuus: Paljonko tuotoksia saadaan aikaan panostetuilla kustannuksilla? Tehokkuus: Kuinka hyvin tuotokset/tulokset vastaavat asetettuja tavoitteita? Vaikuttavuus: Miten hyvin projektilla aikaansaadut vaikutukset vastaavat hankkeelle asetettuja tavoitteita? Hyöty ja kestävyys: Mitkä ovat hankkeen todelliset nettovaikutukset verrattaessa aikaansaatuja vaikutuksia hankkeen alussa määriteltyihin tarpeisiin? Saavutetun hyödyn lisäksi voidaan tarpeiden ja vaikutusten suhteesta arvioida myös hankkeen vaikutusten kestävyyttä joko ennakoimalla tai pitkän ajan kuluessa mittaamalla. Miten mielletään? Täytyy avata em. terminologia kulttuurialan käyttöön TÄRKEÄ

Itsearviointiprosessin vaiheet Itsearvioinnin jäsentäminen Havainnointi Analysointi Arvion ja johtopäätösten muodostaminen

Itsearvioinnin jäsentäminen Arviointikysymykset -Onko projekti edennyt toivottuun suuntaan? Mitä vaikutuksia projektilla on? Toimiiko projekti relevanttien asioiden parissa? Onko ei-toivottuja vaikutuksia? Yms. -Arvioinnissa tutkittavat konkreettisen toiminnan vaikutukset: työllisyysvaikutukset, investoinnit, koulutettujen määrät yms. -Jäsentämismenetelminä esim. SWOT, Delfoi, LogFrame

Havainnointi -Havaintoaineiston keruumenetelmät: kyselyt, haastattelut, keskustelut yms. Analysointi Kaaviot, taulukot Panos-tuotos –mallit, vertailuryhmäanalyysit Arvion ja johtopäätösten muodostaminen - Useita johtopäätöksiä vai konsensusarvio?

Arvioinnin työkalujen valinta Työkalujen valinnassa tulee ottaa huomioon seuraavat seikat: työkalujen ominaisuudet ja rajallisuus, työkalujen hallinta ja niiden käytöstä saadut kokemukset, arvioinnille asetettu budjetti, arvioinnissa analysoitavien tietojen saatavuus, arvioinnin toteutuksen aikarajat, sekä arvioinnin kohde ja työkalun soveltuvuus sen toimintaympäristöön. (Lähde T-A-P)

Työkaluja Skenaariotyöskentely Delfoi Aivoriihi SWOT Logical Framework Vertailukehittäminen (benchmarking) Balanced Scorecard, EFQM