OTE 7 – kokeilujen arviointi

Esitys aiheesta: "OTE 7 – kokeilujen arviointi"— Esityksen transkriptio:

1 OTE 7 – kokeilujen arviointi
Jarno Turunen & Koordinaatioryhmä Kiitokset Petri Uusikylälle

2 Sisältöä Miksi kokeilujen arviointia tehdään
Miten kokeilujen arviointia tehdään OTE 7 -hankkeessa Arviointikehikko – Monitahoisten interventioiden prosessiarviointi Konteksti – Kokeilun toimintaympäristö Uuden toimintatavan kuvaus ja siihen liittyvät syy-seuraus –oletukset Toimeenpano – Kuinka, Mitä ja Kenelle Mekanismit – Kuinka vaikutukset syntyvät Tulokset Miksi kokeilujen arviointia tehdään, osa 2 Mistä arviointiin käytettävää tietoa kertyy Asiakasnäkökulman esiin tuominen Arvioinnin edistäminen Skype –palavereissa hankkeiden kanssa Jarno Turunen & koordinaatioryhmä

3 Miksi kokeilujen arviointia tehdään
Tiedollinen velvoite Päätöksenteon tuki Tiedolla johtaminen Jarno Turunen & Koordinaatioryhmä + Kiitokset Petri Uusikylälle

4 Miksi kokeilujen arviointia tehdään
Kehittäminen ja oppiminen Palaute kokeiluille Ei yhtä ainoaa ratkaisua Matkalla opitaan! Jarno Turunen & Koordinaatioryhmä + Kiitokset Petri Uusikylälle

5 Miksi kokeilujen arviointia tehdään
Tilivelvollisuus Velvollisuus kertoa, miten toiminnassa on onnistuttu Jarno Turunen & Koordinaatioryhmä + Kiitokset Petri Uusikylälle

6 Miksi kokeilujen arviointia tehdään
Normit ja säädökset Lainsäädäntö Hankkeeseen liittyvät sopimukset Jarno Turunen & Koordinaatioryhmä + Kiitokset Petri Uusikylälle

7 Miten kokeilujen arviointia tehdään OTE 7 -hankkeessa
Toiminta ketteränä kumppanina itsearvioinnissa Joustavat ja mukautuvat menetelmät Jarno Turunen & Koordinaatioryhmä

8 Arviointikehikko – Monitahoisten interventioiden prosessiarviointi
Moore, Audrey, Barker, Bond, Bonell, Hardeman, Moore, O’Cathain, Tinati, Wight & Baird 2015: ”Process evaluation of complex interventions: Medical Research Council Guidance” ”… an essential part of designing and testing complex interventions.” Jarno Turunen & Koordinaatioryhmä

9 Arviointikehikko – Monitahoisten interventioiden prosessiarviointi (Moore et al 2015)
Jarno Turunen & Koordinaatioryhmä

10 Arviointikehikko – Monitahoisten interventioiden prosessiarviointi (Moore et al 2015)
Jarno Turunen & Koordinaatioryhmä

11 Arviointikehikko… Konteksti – Kokeilun toimintaympäristö
Kokeilun toimintaympäristöön liittyvät tekijät, jotka muokkaavat (kokeilun) odotuksia siitä, miten interventio toimii Kokeilun toimintaympäristöön liittyvät tekijät, jotka vaikuttavat (tai voivat saada vaikutuksia seuraavista!) kokeilun toimeenpanoon, intervention vaikutuksiin ja mekanismiin, jolla vaikutukset syntyvät Kokeilun toimintaympäristössä olevat syy-seuraus –mekanismit, jotka joko ylläpitävät nykytilannetta tai edistävät muutosta ja vaikutuksia Jarno Turunen & Koordinaatioryhmä

12 Arviointikehikko – Monitahoisten interventioiden prosessiarviointi (Moore et al 2015)
Jarno Turunen & Koordinaatioryhmä

13 Uuden toimintatavan kuvaus ja siihen liittyvät syy-seuraus -oletukset
Taustateoria? Käytännön kokemus? Maalaisjärki? Mitä tehdään ja miksi Mihin tekeminen vaikuttaa ja miten Jarno Turunen & Koordinaatioryhmä

14 Arviointikehikko – Monitahoisten interventioiden prosessiarviointi (Moore et al 2015)
Jarno Turunen & Koordinaatioryhmä

15 Toimeenpano – Kuinka, Mitä ja Kenelle
Tehtävät toimenpiteet, joilla uusi toimintatapa saadaan toimimaan Mitä tehdään, missä järjestyksessä ja millä resursseilla Sujuivatko toimenpiteet niin kuin suunniteltiin? Kuinka paljon uutta toimintatapaa räätälöitiin? Kuinka paljon toimenpiteitä tarjotaan uudessa toimintatavassa? Tavoitettiinko suunniteltu kohderyhmä? Miten suunniteltu kohderyhmä tavoitettiin? Tuliko muita kohderyhmiä toimenpiteiden kohteeksi? Miten muut kohderyhmät tavoitettiin? Jarno Turunen & Koordinaatioryhmä

16 Arviointikehikko – Monitahoisten interventioiden prosessiarviointi (Moore et al 2015)
Jarno Turunen & Koordinaatioryhmä

17 Mekanismit – Kuinka vaikutukset syntyvät
Osallistujien (kohderyhmän, asiakkaiden) vastakaiku uuteen toimintatapaan ja vuorovaikutus uuden toimintatavan parissa Vaikutusta välittävät tekijät ja toimijat Odottamattomat reitit ja seuraukset Jarno Turunen & Koordinaatioryhmä

18 Arviointikehikko – Monitahoisten interventioiden prosessiarviointi (Moore et al 2015)
Jarno Turunen & Koordinaatioryhmä

19 Tulokset Toimintatavan vaikutukset (ja vaikuttavuus)
Hyödylliset – nollat – kielteiset Odottamattomat tulokset Hyödylliset – kielteiset Tasa-arvon toteutuminen alueellisissa kokeiluissa Jarno Turunen & Koordinaatioryhmä

20 Tulokset arvioinnista - arviointikysymykset
Lähtökohta: Millaisia palveluketjuja ja –polkuja on olemassa alueellisessa kokeilussa? Miten palveluketjut ja –polut parantavat asiakasosallisuutta? Toimintaympäristö ja toimeenpano: Millaisia yhteisiä tai eriäviä elementtejä alueellisissa palveluketjuissa ja –poluissa on? Mitkä tekijät selittävät yhteneväisyyksiä tai eroavaisuuksia? Miten digitaaliset ratkaisut näkyvät alueellisten palveluketjujen ja –polkujen toteutuksessa? Mekanismi: Miten parempia palveluketjuja ja –polkuja on tavoiteltu alueellisissa kokeiluissa? Kuinka keskeinen on digitaalisten ratkaisujen rooli alueellisten kokeilujen palveluketjuissa ja –poluissa? Tulevaisuus, jatkuvuus: Millaisia eloonjäämismahdollisuuksia alueellisten kokeilujen toimintatavoilla on? Voidaanko kokeilujen myötä syntyneistä malleista muodostaa yhtenäistä työkyvyn tuen palveluketjuja ja –polkuja? Jarno Turunen & Koordinaatioryhmä

21 Miksi kokeilujen arviointia tehdään, osa 2
Kokeilukulttuurin edistäminen Suomessa Alueellisten kokeilujen (osaamisen) tukeminen Miten saadaan kokeilusta yleinen toimintatapa? Exit. Kokeilu esiin toimintaympäristössään Toimintaympäristön vaikutusten arviointi Lineaarisesta selittämisestä iteratiiviseen tulkintaan Jarno Turunen & Koordinaatioryhmä

22 Mistä arviointiin käytettävää tietoa kertyy
? Jarno Turunen & Koordinaatioryhmä

23 Mistä arviointiin käytettävää tietoa kertyy
Konteksti – Kokeilun toimintaympäristö (Hallitusohjelma, OTE –kärkihanke, OTE 7) Kokeilujen hankesuunnitelmat Kokeilujen ”lähtötasokyselyt” Vertaisoppimispäivien materiaali (sparraus yms. …) STM:lle toimitettavat raportit Suunta –työkalu (/MUU SYSTEMAATTINEN ITSEARVIOINNIN MENETELMÄ) Jarno Turunen & Koordinaatioryhmä

24 Mistä arviointiin käytettävää tietoa kertyy
Uuden toimintatavan kuvaus ja siihen liittyvät syy-seuraus –oletukset (OTE - kärkihanke) Kokeilujen hankesuunnitelmat Suunta –työkalu (/MUU SYSTEMAATTINEN ITSEARVIOINNIN MENETELMÄ) Jarno Turunen & Koordinaatioryhmä

25 Mistä arviointiin käytettävää tietoa kertyy
Toimeenpano – Kuinka, Mitä ja Kenelle Kokeilujen hankesuunnitelmat Tilanneraportit Kokousmuistiot Muutos –slaidit (Muut muistiot) Suunta –työkalu (/MUU SYSTEMAATTINEN ITSEARVIOINNIN MENETELMÄ) Jarno Turunen & Koordinaatioryhmä

26 Mistä arviointiin käytettävää tietoa kertyy
Mekanismit – Kuinka vaikutukset syntyvät Kokeilujen hankesuunnitelmat Tilanneraportit Kokousmuistiot Muutos –slaidit Loppuhaastattelut Määrällinen tieto (Muut muistiot) Suunta –työkalu (/MUU SYSTEMAATTINEN ITSEARVIOINNIN MENETELMÄ) Jarno Turunen & Koordinaatioryhmä

27 Mistä arviointiin käytettävää tietoa kertyy
Tulokset Loppukysely Tilanneraportit Loppuhaastattelut Määrällinen tieto (Muut muistiot) Suunta –työkalu (MUU SYSTEMAATTINEN ITSEARVIOINNIN MENETELMÄ) Jarno Turunen & Koordinaatioryhmä

28 Asiakasnäkökulman esiin tuominen
Miten kokeilunne kerää asiakasnäkökulmaa? Kokemukset? Haastattelut? Kyselyt? Mittarit? Muuta? KUMOUS –menetelmä esitellään Helsingissä – Jarno Turunen & Koordinaatioryhmä

29 Arvioinnin edistäminen Skype –palavereissa hankkeiden kanssa
Arviointiryhmä + kokeilu Yksi 2,5h Skype- / Lync -yhteys Aikoja tarjolla huhtikuusta toukokuuhun Tarvittavat henkilöt yhteyden äärelle Keskusteltavat teemat ovat kokeilukohtaisia Tavoitteena kehittyminen, kehittäminen ja tiedon keruu Jarno Turunen & Koordinaatioryhmä

30 Arvioinnin edistäminen Skype –palavereissa hankkeiden kanssa
Aikataulut: To :30 – 11:00 Ma :30 – 11:00 Ma :30 – 11:00 To :30 – 11:00 Pe :30 – 11:00 Ma :30 – 11:00 To :30 – 11:00 Ma :30 – 11:00 To :30 – 11:00 Jarno Turunen & Koordinaatioryhmä

31 stm.fi/hankkeet/osatyokykyisyys
Kiitos! stm.fi #OTEhanke stm.fi/hankkeet/osatyokykyisyys @tatsijatsi Jarno Turunen & Koordinaatioryhmä

32 Lähteitä / kiitokset Moore, Audrey, Barker, Bond, Bonell, Hardeman, Moore, O’Cathain, Tinati, Wight, Baird 2015: ”Process evaluation of complex interventions: Medical Research Counil guidance” BMJ 2015;350:h1258. Kiitokset Petri Uusikylälle aiemman arviointikehikon version kommentoinnista syksyllä 2017 sekä erinomaisista Arviointislaideista, joita on hyödynnetty tämän esityksen slaideihin 3 – 7. Jarno Turunen & Koordinaatioryhmä