Itsearviointi Sari Rannanpää 9.2.2018 Oulu

Mitä itsearviointi on? ”Hankkeen toiminnan arviointia, jossa hanke arvioi toteutumistaan ja tuloksiaan suhteessa tavoitteisiin” (THL, 2015) Kriittistä oman toiminnan tarkastelua Jatkuvan kehittämisen väline Oppimisen tuki Osallistava prosessi Osa tavallista hanketyötä

Itsearvioinnin edellytykset Hankkeella on selkeät tavoitteet Tulos Tuotos Hankkeen tavoitteiden etenemistä seurataan Hankevetäjä on kiinnostunut kehittämään hanketta Itsearvioinnin tuloksia aiotaan käyttää

Harjoitus 1 – hissipuhe Aika: 10 min MIKÄ? Hankkeen nimi? MIKSI? Mihin ongelmaan hanke on ratkaisu? Mieti & kirjoita itse 5 min Parikeskustelu 2+2 min OMA HANKE MITEN? Hankkeen odotettavat toimenpiteet TAVOITE Muutos kohderyhmässä KENELLE? Kuka hyötyy hankkeesta?

Itsearvioinnin aiheet (’mitä’) Kokonaisvaltainen Toteutuminen ja tulokset suhteessa tavoitteisiin Panokset, prosessit Laatu Osittainen Tavoitteet Kohderyhmät (esim. yrittäjät, nuoret, kohdennus yleisesti) Resurssointi Henkilöstön osaaminen & kehittäminen Viestintä & tiedotus Toimenpiteet & tulokset

Itsearvioinnin SUUNNITTELU

Itsearviointiprosessi TARPEET Itsearviointiprosessi Strategia Hankesuunnitelma Toimenpidelogiikka 3 x suunnittelu Hankkeen kesto Vuosi Yksittäinen itsearviointi Suunnittelu Valmistelu Toteutus Levitys Tavoitteet & tarkoitus Arviointikysymykset Tiedonkeruu Viestintä Lähestymistapa & metodit Analyysi Jälkitoimet ja suositusten toimeenpano Aiheet Raportointi Tietolähteiden kartoitus Aikataulu Resurssit Tiedonkeruun valmistelu Tulosten käytön suunnittelu

Jatkuvan itsearvioinnin aikataulu (’milloin’?) 2018 2019 2020 Kysely kohderyhmälle Tapahtumien palautelomakkeet Itsearviointityöpaja Palaute kohderyhmältä Tapahtumien palautelomakkeet Viestintäkysely Tapahtumien palautelomakkeet Milloin tietoa tarvitaan? Ohjausryhmien kokouksiin Vuosi/maksatusraportteihin Loppuraporttiin Uuden hankkeen valmisteluun Missä muodossa tieto esitetään? PPT Raportti Tiivistelmä (max 2 x A4) Suullisesti

Jatkuvan itsearvioinnin aikataulu: (’milloin?’) Vuosikello Sidosryhmä-kysely Itsearviointi-työpaja Joulukuu Vuosiraportti Palaute asiakkailta Syyskuu Maaliskuu Itsearviointi-kysely Viestintäkysely Kesäkuu

Itsearvioinnin resurssointi (’kuka? €/htv?’) Itsearviointiin tulee varata aikaa ja resursseja Suunnittelu & valmistelu Toteutus (kyselyt, työpajat, analyysi, raportointi) Viestintä Palaute- ja internet-kyselyt tuottavat paljon tietoa Kuka analysoi tiedon? Miten tietoa käytetään? Nyrkkisääntö: jos tietoa ei käytetä, sitä ei kannata kerätä Hyvällä tiedon käytön suunnittelulla voi vähentää keruuta

Harjoitus 2 – itsearvioinnin suunnittelua Mitä? Miksi? Aika: 15 min OMA HANKE Milloin? Mieti & kirjoita itse 5 min Parikeskustelu 5+5 min Käyttö? Kuka? Resurssit?

Itsearvioinnin työvälineitä

Tiedonkeruun menetelmät (’miten?’) Kyselyt & palautelomakkeet Sähköiset / Paperiset Haastattelut Lomakehaastattelu / Teemahaastattelu Kahdenkeskinen haastattelu / Fokusryhmähaastattelu Työpajat Toimintaan kuuluvat palaverit & suullinen palaute Rahoitettujen toimien raportit & asiakaspalaute Seurantatiedon keräys Google analytics

Palaute tapahtumista Sähköinen Paikan päällä www.mentimeter.com 15.9.2018 Palaute tapahtumista Sähköinen Paikan päällä www.mentimeter.com https://screen.io/fi/ Jälkikäteen Sähköposti Surveypal Surveymonkey Webropol Ei-sähköinen Paikan päällä Kyselylomake Tarrat / pisteet  Palautehenkilö ovella Suullinen palautekierros Jälkikäteen https://fi.surveymonkey.com/r/Post-Event-Feedback-Template_FI

Itsearviointikysely KYMPPI SEISKA 10 väittämää, joilla arvioidaan toiminnan onnistumista Skaala 1-4 (heikko, tyydyttävä, hyvä, erinomainen) 2 avointa kysymystä (tulokset/vaikutukset, kehittämistarpeet) SEISKA 7 aluetta, joita arvioidaan sekä väittämien että avointen kysymysten avulla Joka aihealueella 4 väittämää ja 1 avoin kysymys Lähde: RAY, Itsearviointi toiminnan kehittämisen välineenä

Itsearviointikysely - esimerkki 1. TAVOITTEET 1 2 3 4 Toiminnan tavoitteet ovat selkeästi määritelty Toiminnan tavoitteet ovat kaikkien toimijoiden tiedossa Kaikilla toimijoilla on yhteinen näkemys toiminnan tavoitteista Osa-alue Tavoitteet Toimenpiteet Kohderyhmät 4. Resurssointi 5. Sisäinen työnjako 6. Viestintä ja tiedotus 7. Yhteistyö kumppaneiden ja sidosryhmien kanssa 8. Henkilöstön osaaminen ja kehittäminen 9. Tulokset 10. Arviointitieto 4. RESURSSIT 1 2 3 4 Toiminnan toimenpiteet on mitoitettu oikein suhteessa resursseihin Toimintaan varatut resurssit ovat riittävät Osallistuvilla henkilöillä on riittävästi aikaa tehtävien laadukkaaseen hoitamiseen Lähde: Kuntoutussäätiö, Opas oman toiminnan arviointiin järjestöille

Itsearviointikysely – kysymykset ja skaalat Väittämä (’seminaarin sisältö oli mielenkiintoinen’) Likert-asteikko (täysin eri mieltä ... täysin samaa mieltä) Preferenssi (’lehden mielenkiintoisimmat artikkelit’) Järjestyasteikko Luokittelu (mies/nainen, ikäryhmät) Luokitteluasteikko Vapaa sana

Itsearviointikysely - lomake Kysymysten tulee olla Selkeitä: kysymysten tulisi merkitä samaa vastaajille Tarkkoja ja rajattuja Lyhyitä Yksimerkityksisiä: yksi asia yhteen kysymykseen Testaa kyselylomake ennen lähettämistä Mitä tietoa vastaukset antavat? Kysymysten ymmärrettävyys Tarkista kysymysten määrä ja järjestys (yleinen  tarkka) Tarkista kyselyyn menevä aika

Itsearviointityöpaja (I) RUUTU Parin tunnin työpaja Keskustelusta laaditaan tiivis yhteenveto Mitä pitäisi vähentää? Mitä tulisi vahvistaa? Mikä on turhaa? Mitä puuttuu? Mitä tuloksia ja vaikutuksia saatu aikaan? Ketkä ja mitkä tahot hyötyvät ja miksi? Kehittämiskohteet Lähde: RAY, Itsearviointi toiminnan kehittämisen välineenä

Itsearviointityöpaja (II) HERTTA Kolmen tunnin työpaja Keskustelusta laaditaan tiivis yhteenveto Onnistumiset ja vahvuudet Parantamisalueet ja kehittämiskohteet Tulokset ja vaikutukset Yhteenveto Kehittämiskohteiden valinta Lähde: RAY, Itsearviointi toiminnan kehittämisen välineenä

Esimerkki: Euroopan maaseutuverkostot Tuotostason raportti Tiedonkeruu yksiköiltä Tulostason raportti Itsearviointikysely tärkeimmille sidosryhmille Strategian toteutumiseen liittyviä kysymyksiä Tuotosten laatuun ja tunnettuuteen liittyviä kysymyksiä Väittämiä (vastaukset skaalalla 1-5) ja vapaa sana Itsearviontityöpaja Ryhmäkeskustelut perustuivat tulostason raporttiin Suositukset

Lisätietoa Soste: Arvioiva toimintakulttuuri järjestöarkeen (2015) http://www.soste.fi/media/pdf/julkaisut/arviointiopas_nettiin_2015.pdf RAY: Itsearviointi toiminnan kehittämisen välineenä (2013) https://www.ray.fi/sites/default/files/emmi_mediabank/Itsearviointiopas.pdf Kuntoutussäätiö: Opas oman toiminnan arvioimiseen järjestöille (2015) http://hankkeet.kuntoutussaatio.fi/artsi/wp-content/uploads/sites/4/2015/06/opas.pdf Setlementtiliitto: Itsearvioinnin työkaluja http://www.setlementti.fi/toiminta/monikulttuurinen-tyo/projektit/mamuset/tyokaluja/

Oli ilo!

Toimenpidelogiikka Tarpeet hyöty ja kestävyys relevanssi 15.9.2018 Toimenpidelogiikka Tarpeet hyöty ja kestävyys relevanssi Yleistavoitteet Vaikutukset Politiikka-tavoitteet vaikuttavuus Vaikutus toiminta-alueella tehokkuus Erityis-tavoitteet Tulokset Toiminnan tavoitteet Vaikutus kohderyhmään Toiminnalliset tavoitteet Tuotokset Vaikuttavuus: missä määrin tavoitteet saavutetaan? Tehokkuus: käytettyjen resurssien ja saavutettujen tavoitteiden suhde tuotos-, tulos- ja vaikutustasolla Mitä tehdään? tapahtumat, osallistujat Toiminta (tp, hankkeet) Panokset (€)