Ammatillisen koulutuksen oppimistulosten arvioinnin menetelmien kehittäminen TYÖELÄMÄYHTEYTTÄ KUVAAVA INDIKAATTORI Opetusneuvos, FT, VTM Mari Räkköläinen.

Esitys aiheesta: "Ammatillisen koulutuksen oppimistulosten arvioinnin menetelmien kehittäminen TYÖELÄMÄYHTEYTTÄ KUVAAVA INDIKAATTORI Opetusneuvos, FT, VTM Mari Räkköläinen."— Esityksen transkriptio:

1 Ammatillisen koulutuksen oppimistulosten arvioinnin menetelmien kehittäminen TYÖELÄMÄYHTEYTTÄ KUVAAVA INDIKAATTORI Opetusneuvos, FT, VTM Mari Räkköläinen OULU

2 Mari Räkköläinen TAUSTAA Liittyy laajemmin kansallista oppimistulosten arviointia täydentävien menetelmien kehittämistyöhön Indikaattorit: Opiskelijan osaamisen itsearviointi (testataan osana pintakäsittely- ja elintarvikealan oppimistulosten arviointeja keväällä 2014) Työelämäyhteistyön /työelämälähtöisyyden/ työelämäläheisyyden tason/ tilan mittaristo (suunnittelu käynnistyy keväällä 2014, testaus syksyllä 2014/2015 ?)

3 TYÖELÄMÄINDIKAATTORITYÖN SUUNNITELMA
Mari Räkköläinen TYÖELÄMÄINDIKAATTORITYÖN SUUNNITELMA Nykytilanteen kartoitus (kansalliset ja koulutuksen järjestäjillä käytössä olevat mittarit/järjestelmät) sekä käyttäjien kokemukset ja kehittämistarpeet (esim. OPIX, AIPAL, OPAL) Perehdytään erilaisissa (merkittävissä) ammatillisen koulutuksen / opetustoimen henkilöstön kehittämishankkeissa laadittuihin/ sovellettuihin työelämäyhteistyöhön liittyviin kriteeristöihin ja työkaluihin (arvioinnin kohteiden kartoittaminen) Analysoidaan aikaisempien kansallisten oppimistulosten arviointien tulokset ja tutkintorakenteen kehittämistyön kokemukset ja järjestelmän kehittämistarpeet Tarkennetaan tiedontarpeet ja indikaattorien laatimisen tavoitteet

4 Aiempien hankkeiden tuotoksia
Työpaikkaohjaajien koulutuksen kriteerit (Yhdessä tekemällä -hanke, OSAO) Työssäoppimisen laatukriteerit työpaikalle (Yhdessä tekemällä -hanke, OSAO) Työelämäyhteistyön laadunhallinta, asiakkuuksien johtaminen (Q-master -koulutus, Tuula Sillanpää, Lamppu2015 -hanke, KY LAPPIA) Työelämäpedagoginen osaamiskartta (Osaava työelämäpedagogi ammatillisessa koulutuksessa -hanke, OAMK/AMOK)

5 TYÖELÄMÄINDIKAATTORITYÖN SUUNNITELMA
Mari Räkköläinen TYÖELÄMÄINDIKAATTORITYÖN SUUNNITELMA Kehittämisverkoston luominen Asiantuntijaryhmät ja tapaamiset Alueelliset työpajat Indikaattorin/ mittariston viitekehys (huom! käsitteistö) - laadinnan näkökulmat ja sisällölliset painotukset Indikaattorin käyttö / hyöty (lisäarvo) - kenelle, mihin tarkoitukseen ja miten toteutetaan Mittarien laatiminen/ kokoamisen periaatteet - määrälliset/ laadulliset indikaattorit Pilotointi osana kansallista oppimistulosten arviointia

6 Tavoitteena on luoda mittarit, jotka ovat - käyttäjäystävällisiä
TUOTOKSET JA KÄYTTÖ Tavoitteena on luoda mittarit, jotka ovat - käyttäjäystävällisiä - helposti saatavissa olevia - ydinasioihin keskittyviä, luotettavaa tietoa antavia - lisäarvoa antavia - muita tavoitteita? Käytetään kansallisten oppimistulosten arviointien yhteydessä - täydentää oppimistulosten arviointiaineistoa ja tulosten tulkintaa - hyödynnetään toiminnan kehittämisessä ja koulutuksen laadun parantamisessa Myös koulutuksen järjestäjät voivat käyttää - itsearviointi, vertaisarviointi, laadunhallintajärjestelmät - täydentää olemassa olevia mittareita/ järjestelmiä

7 TYÖELÄMÄINDIKAATTORIN LÄHTÖKOHTIA
Mari Räkköläinen TYÖELÄMÄINDIKAATTORIN LÄHTÖKOHTIA TARVE saada kansallisesti vertailukelpoista ja luotettavaa tietoa täydentämään oppimistuloksia TARVE tuottaa hyödyllistä ja käyttökelpoista tietoa valtakunnallisesti ja koulutuksen järjestäjille Tuo tietoa myös sidosryhmille ja työelämän yhteistyötahoille, opetushenkilöstölle, opiskelijoille, opettajien kouluttajille Vahvistaa tietoperustaisuutta ja selkiyttää tavoitteiden asettamista, tukee päätöksentekoa ja työelämäyhteyden laadun arviointia valtakunnallisesti ja paikallisesti

8 TYÖELÄMÄINDIKAATTORIN LÄHTÖKOHTIA
Näytöt kehitettiin koulutuksen laadun, ennen kaikkea työelämälähtöisyyden ja -läheisyyden varmistamiseksi Työelämälähtöisyyttä on kehitetty myös lisäämällä työssäoppimista, työpaikkaohjaajakoulutuksella ja opettajien työelämäjaksoilla Miten eri koulutuspoliittiset toimenpiteet työelämälähtöisyyden kehittämiseksi ovat vaikuttaneet? Onko työelämälähtöinen pedagogiikka kehittynyt? Työelämälähtöisyyden kehittymisen arvioimiseksi tarvitaan oppimistulosten arvioinnin rinnalle indikaattoreita, jotka osittavat työelämälähtöisyyden tasoa

9 KÄSITTEESTÄ (huom! alustavaa pohdintaa)
TYÖELÄMÄLÄHTÖISYYS esim. näytön/ oppimistehtävien sisällöt, työssäoppimisjaksot, pedagogiikka TYÖELÄMÄLÄHEISYYS - esim. koulutuksen järjestäjän/ opettajan toimintatavat, näyttöympäristön valinta, arvioijien valinta ja kouluttajien käyttö Työelämäyhteistyö Työelämäyhteys Työelämäsuhteet

10 INDIKAATTORIN MÄÄRITELMÄSTÄ
Osoitin Ilmaisin (Tiivistetty) tilastollinen luku Laadullinen mittari (laajojen ja monimutkaisten tietojen yksinkertaistaminen), laatua kuvaava Kriteeri Absoluuttinen/ suhteellinen Apuväline Tavoitteiden asettamisessa ja seurannassa Vertailussa Suunnittelussa Päätöksenteossa

11 INDIKAATTORIT ”ovat määrällisiä esityksiä, joiden voidaan järkeenkäyvästi ajatella tarjoavan kokoavaa tietoa kohdetoiminnan laajuudesta, laadusta ja elinvoimaisuudesta.” ” tilastollinen tunnusluku, joka kuvaa ilmiön tilaa ja muutoksia tiivistetysti´, yleensä yhdellä luvulla” ” tunnusluvut voivat olla keskiarvoja, osuuksia, määriä suhteessa ko. ”ryhmään” tai esimerkiksi palveluiden käyttö henkeä kohden” Anu Räisänen ,

12 Määrällisiä indikaattoriesimerkkejä
HR Henkilöstön mitoitus/opiskelija Koulutettu/epäpätevä henkilöstö Taloudelliset voimavarat Käytettävissä olevat määrärahat/opiskelija Täydennyskoulutukseen suunnatut varat / osallistumisaste Palveluiden saatavuus Odotusaika Kansainvälinen liikkuvuus Opiskelijavirta Hakijat, valitut, keskeyttäneet, tutkinnon suorittaneet, työhön/jatko- opintoihin sijoittuneet, rekrytoitumisaste Alan työvoimatiedot Työvoiman määrä, palkkataso, työllisyysaste Anu Räisänen 2013

13 Laadullisia indikaattoriesimerkkejä
Arvojen toteutuminen opiskelijalähtöisyys Osallisuus osallistumisaste, vaikuttamismahdollisuudet, kuulluksi tulemisen aste Opiskelijoiden, henkilöstön ja kumppanien tyytyväisyys tyytyväisyyden aste ja muutos vuodesta toiseen Ammattikuntakohtaisen toiminnan laatu prosessi-indikaattorit (itsearvioinnin ja vertaisarvioinnin pohjaksi)

14 ESIM. (alustavaa) Työelämälähtöisyys
Opetussuunnitelmien sisällön laatu, näyttöjen arviointikriteerien osuvuus, pedagogiikan laatu Työelämäläheisyys työpaikoilla toteutetun työssäoppimisen ja ammattiosaamisen näyttöjen toteutumisaste

15 Indikaattoreiden laadinnassa tulee tietää:
Mikä on ilmiö, jota indikaattori kuvaa? Miten indikaattoritieto on kerätty? Millaisia tulkintoja ilmiöstä voidaan indikaattorin avulla tehdä? Miten vastata kysymykseen, onko indikaattorin kuvaama tilanne hyvä vai huono? Millä tavalla voidaan vaikuttaa ilmiöön, jota indikaattori kuvaa? Kanerva-Kaste hanke / Anu Räisänen 2013

16 Kehittäminen, seuranta
TYÖELÄMÄINDIKAATTORIN LAATIMINEN / Mari Räkköläinen 2014 Työelämäyhteistyö/ työelämäyhteys / työelämälähtöisyys/ työelämäläheisyys Arvot Tavoitteet Säädökset Laatuvaatimukset “Kriittiset kohdat” Laadun arvioinnin kohteet Kriteerit Arviointityövälineet (lomakkeisto, kriteeristö) Indikaattorit/tunnusluvut (määrälliset, laadulliset) Tulos (toteutumisaste, laajuus, elinvoimaisuus, laatu) Palaute Kehittäminen, seuranta

17 TOIMINNAN TULOKSELLISUUDEN ARVIOINTIMALLI
PANOKSET (toiminta-edellytykset) PROSESSI (tekeminen) TULOKSET (aikaansaannokset, tuotokset) VAIKUTTAVUUS (miten muutos näkyy kohderyhmässä/ toiminta-kulttuurissa?) VÄLITTÖMÄT VAIKUTUKSET (toimintatapojen muutos) MR mukaellen ”Theory of Change” –viitekehystä (ks. esim. Pawson & Tilley 1997; Weiss 1995, 1997) MARI RÄKKÖLÄINEN

18 Indikaattorin laadinnan näkökulmia
Päämäärä Mitä (merkittävää) koulutuspoliittista tavoitetta (työelämäyhteistyöllä) edistetään? Pitkän tähtäimen hyödyt. Mikä on se muutos, jota (työelämäyhteistyöllä) tavoitellaan? Miksi kehittämistyö/ toimintamalli on tärkeä? Toimintaedellytykset Millaisin panoksin (laadukas, tavoitteet saavuttava) toiminta (työelämäyhteistyö) on mahdollista? Prosessi Millaisen toiminnan avulla tavoitteet saavutetaan? Mikä on rakenne (mitä) ja prosessi (miten)? Laadukkaan palvelun osatekijät Vaikutukset Mitä toiminta (työelämäyhteistyö) tuottaa (aikaansaannokset, oppimistulokset)? Mikä on sen hyöty ja mitä toiminnan tuloksena syntyy?

19 Indikaattorin laadinnan näkökulmia
VAIKUTTAVUUS (Impact, long term goal) Tavoitteena on muutos Mitkä ovat pitkän tähtäimen hyödyt lopulliselle kohderyhmälle? Miten muutos näkyy kohderyhmässä? Miten muutos näkyy toimintaympäristössä? Miten toimintakulttuuri muuttuu?

20 TYÖELÄMÄ INDIAATTORIN LAADINNAN NÄKÖKOHTIA
TYÖELÄMÄYHTEISTYÖTÄ KUVAAVAN INDIKAATTORIN LAATIMINEN TOIMINTAEDELLYTYKSET MATERIAALISET, TALOUDELLISET JA INHIMILLISET VOIMAVARAT AMMATILLISEN KOULUTUKSEN TYÖELÄMÄLÄHTÖISYYS Päämäärä - Tavoitteet TYÖELÄMÄ INDIAATTORIN LAADINNAN NÄKÖKOHTIA TOIMINTA Suunnittelu – toteutus – arviointi -kehittäminen VAIKUTUKSET TUOTOKSET

21 Pohdittavaa Mikä on arviointitiedon tarve?
Miten tyeöelämäindikaattorilla saatava tieto täydentää oppimistulosten arviointeja ja jo käytössä olevia järjestelmiä (kansallisesti/ paikallisesti)? Mitä lisäarvoa indikaattorin tuottama tieto antaa koulutuksen järjestäjille ja työelämälle ja opettajille/ opetustoimen henkilöstölle? Miten arviointitieto kootaan koulutuksen järjestäjiltä kansallista indikaattoria varten? Ja muita….

22 Aurinkoisia kevätpäiviä!
Hyvää pääsiäistä myös!