Hankearviointi ja arvioinnin työkalut

Esitys aiheesta: "Hankearviointi ja arvioinnin työkalut"— Esityksen transkriptio:

1 Hankearviointi ja arvioinnin työkalut
Projektiklinikka Nina K. Hyttinen

2 Arviointi on suunniteltava hankkeen koon mukaan

3 On päätettävä, toteutetaanko arviointi
itsearviointina – projektitiimi itse arvioi työtään sisäisenä – arvioija samasta organisaatiosta ulkoisena – arvioija ulkopuolelta

4 1. Itsearviointi

5 Itsearvioinnin etuja Voidaan tehdä jatkuvaa arviointia, tulee työprosessin luonnolliseksi osaksi Parantaa ja korjaa työtapoja Lisää projektiosaamista Myös arviointiosaaminen jää projektiin Hiljainen tieto siirtyy koko työyhteisölle Ei rasita taloudellisesti

6 Itsearvioinnin haasteita
Riittääkö osaaminen? Riittääkö aika ja kiinnostus? Sisältää piilokustannuksia käytetty aika muut resurssit Sininauhaliiton Arviointipalvelut (ARPA) tarjoaa konsultatiivista tukea itsearviointiin

7 Itsearviointi kuuluu projektityöhön
Arvioiva työote kuuluu projektityön perustaitoihin Tuottaa jatkuvaa tietoa hankeprosessista Virtaviivaistaa työskentelyä Täydentää muuta arviointia

8 2. Sisäinen arviointi

9 Sisäisen arvioinnin etuja
Arviointi voi olla jatkuvaa ohjaa ja tukee hankeprosessia Projektityöstä kertynyt tieto ja kokemus hyödyttävät tuleviakin hankkeita Kustannukset muuttuvat tuotoiksi ja resursseiksi Arviointiosaaminen jää organisaatioon

10 Sisäisen arvioinnin haasteita
Onko organisaatiossa osaavaa tekijää? Onko arviointi uskottavaa sidosryhmien mielestä? Näkeekö arvioija hankkeen riittävän etäältä ja objektiivisesti? Onko raportointi puolueetonta?

11 Sisäinen arviointi on hyvä vaihtoehto
Pienissä ja keskisuurissa hankkeissa sisäinen tai itsearviointi usein riittää RAY ei edellytä ulkoista arviointia alle 0,5 Me:n hankkeissa Kaikissa projekteissa kuitenkin täytyy olla arviointi ARPA toimii Sininauhaliitossa sisäisenä arvioijana

12 3. Ulkoinen arviointi

13 Ulkoisen arvioinnin etuja
Arviointi ei vie kovin paljon aikaa projektityöltä Hyödyllistä silloin, kun omaa arviointiosaamista ei ole Sidosryhmistä ulkoinen arviointi näyttää uskottavammalta Usein laajemmat arviointiresurssit

14 Ulkoisen arvioinnin haasteita
Usein kallista, ei voida toteuttaa jatkuvaa arviointia Ei aina hyödytä hankeprosessia Arviointi jää usein pinnalliseksi Halu miellyttää tilaajaa joskus vaarana Tarjouspyynnön tekeminen ja kilpailuttaminen vaatii aikaa ja osaamista

15 Ulkoisen arvioinnin mitoitus
Isoissakaan hankkeissa ulkoisen arvioinnin ei tarvitse tehdä kaikkea voi tehdä jonkun selkeän kokonaisuuden muu evaluaatio sisäisenä tai itsearviointina Arviointia voi tehdä eri tapojen yhdistelmänä

16 Arviointi Sininauhaliiton jäsenjärjestöissä
RAY näkee Sininauhaliiton ARPA- palvelut pääsääntöisesti ulkoisena arviointina ARPAA voidaan siis käyttää ulkoisena arvioijana ARPAA voidaan käyttää myös sisäisenä arvioijana

17 Arviointi Sininauhaliiton jäsenjärjestöissä
Parhaassa tapauksessa ARPA yhdistää sekä ulkoisen että sisäisen arvioinnin edut Puolueettomuus, etäisyys, arviointiosaaminen Sisäistetty ymmärrys, synergiaedut, yhteisen tiedon kasvu

18 Arvioinnin työkalut

19 Työkalut ja niiden käyttö
Arvioinnin työkalujen on tarkoitus nostaa esiin haluttu tieto projektista. Vain sellaisia työkaluja kannattaa käyttää, joiden tuottamaa tietoa hyödynnetään arvioinnissa Työkaluja voi rakentaa itse Esim. asiakastyöhön kasvupolun, joka kuvaa asiakkaan etenemistä Haastattelu- ja lomakekysymykset on mietittävä tarkkaan, ei pidä pyytää tietoja varmuuden vuoksi

20 Päiväkirja Päiväkirja dokumentoi työprosessin: keskeiset asiat
onnistumiset ja kompastuskivet yhteistyön toimivuuden ideat, oivallukset Tiedon määrä on rajattu avainasioihin syntyy hallittava kokonaisuus

21 Päiväkirjatyöskentelyn edut
Dokumentoi hiljaista tietoa ja jäsentää työtä Kerryttää projektiosaamista Työskentelystä tulee tietoisempaa Auttaa välttämään kompastuskiviä Opettaa hyviä käytäntöjä Antaa projektipäällikölle tiivistettyä tietoa hankkeen tilasta Hyvä vertaisarvioinnin ja työyhteisökeskustelun materiaali

22 Päiväkirjan avainkysymykset
Projektin keskeiset asiat tällä jaksolla Mitkä asiat hankkeessa toimivat hyvin ja ovat onnistuneet? Onko projektityössä ollut esteitä tai kompastuskiviä? Millaisia? Miten yhteistyö hankkeessa toimii? Työyhteisö Yhteistyökumppanit ja muut sidosryhmät Olisiko sinulla ideoita, oivalluksia tai kehittämisehdotuksia?

23

24 Arvioinnin kompastuskiviä

25 arviointi voi tehdä ongelmat näkyviksi, mutta ei ratkaise niitä
1. Arviointioptimismi ”ongelmat ratkeavat arvioinnin kautta” Mutta: arviointi voi tehdä ongelmat näkyviksi, mutta ei ratkaise niitä

26 2. Arvioinnista tulee pääasia
arviointi alkaa syödä liikaa työaikaa käytetään kaavamaisia työkaluja, jotka eivät sovi hankkeeseen käytetään liian monimutkaisia tai suuritöisiä arviointivälineitä projekti mukautuu arviointiin eikä arviointi projektiin hankkeen varsinaisia tehtäviä jää tekemättä, kun rahat ja muut resurssit menevät arviointiin

27 3. Ylimitoitetaan arviointi
Yritetään arvioida kaikkea mitä voidaan Otetaan liian laajoja arviointitehtäviä Kerätään massiivisia aineistoja, joita ei kyetä käsittelemään

28 Minkä arvioiminen vie projektia eteenpäin?
Arvioinnin kysymys ei saa olla: Mitä voidaan arvioida? vaan Minkä arvioiminen vie projektia eteenpäin?

29 On mietittävä, mikä tieto on saatavissa kohtuullisella panoksella mihin arviointi kohdennetaan voiko vaikuttavuutta arvioida

30 5. Arvioinnin ja tutkimuksen sekoittaminen
kaiken arvioinnin ei tarvitse olla tutkimusta arvioinnin on kuitenkin oltava aina laadukasta ja totuudenmukaista kehittämisarviointi sopii hankkeisiin arviointitutkimus on joskus paikallaan, mutta ei aina

31 Arviointitutkimus tieteellisin menetelmin tuotettua systemaattista arviointia oltava laajat resurssit ja koulutetut ihmiset tekemässä tehdään usein jälkikäteen ei voi käyttää ohjausvälineenä ei aina tavoita projektin ”sisintä” yleensä numeerisia menetelmiä palvelee ensi sijassa ulkopuolisia tahoja

32 Arviointitutkimus On kysyttävä,
onko tieteelliselle työotteelle selvä tarve? onko projektilla riittävät resurssit? Pahinta on nähdä ”tutkimuksia”, jotka jäljittelevät tiedettä, mutta eivät ole sitä