Opetusneuvos Anu Räisänen

Esitys aiheesta: "Opetusneuvos Anu Räisänen"— Esityksen transkriptio:

1 Opetusneuvos Anu Räisänen 12.11.2012
OPPIMISTULOSTEN ARVIOINNIN TAVOITTEET JA PERIAATTEET SEKÄ ARVIOINNIN KEHITYSNÄKYMÄT Ammatillinen koulutus Opetusneuvos Anu Räisänen

2 OPPIMISTULOSTEN ARVIOINNIN TAVOITTEET
Hankkia ja analysoida tietoa valtakunnallisen koulutuspoliittisen päätöksenteon ja koulutuksen kehittämisen pohjaksi Hankkia ja analysoida tietoa koulutuksen paikallisen kehittämistyön ja päätöksenteon perustaksi Tukea opiskelijoiden oppimista, opetustoimen henkilöstön työtä ja oppilaitosten kehittämistä ja parantaa oppimisen edellytyksiä – myös paikallisella tasolla suunnitelmallisuus ja tavoitteiden kattavuus luotettavuus ja vertailukelpoisuus hyödynnettävä olemassa oleva tieto koulutuksellisen tasa-arvon turvaaminen

3 OPPIMISTULOSTEN ARVIOINNIN PERIAATTEET
Tieto tuotetaan ammattiosaamisen näytöistä – ei erillisiä tehtäviä, näyttöjä ja testejä Arviointi perustuu tutkintojen perusteisiin ja ammattiosaamisen näyttöjen laatuvaatimuksiin ja taustamuuttujiin Palaute järjestäjille Kansallinen raportti Arvioinneista päätetään OKM:n arviointisuunnitelmassa

4 AMMATTIOSAAMISEN NÄYTTÖTOIMINNAN OHJAUS
Laki ja asetus ammatillisesta koulutuksesta muutoksineen (L 630/1998; L 479/2003, L601/2005, A 811/1998, A 603/2005) Koulutuksen arviointia koskeva asetus 1061/2009 OPH:n määräykset tutkintojen perusteista - Opiskelijan arvioinnin kriteeriperustaisuus Koulutuksen järjestäjän opetussuunnitelma ja suunnitelma näyttöjen toteuttamiseksi ja arvioimiseksi -> toimielin OKM:n päätökset oppimistulosten arvioinnista

5 AMMATTIOSAAMISEN NÄYTTÖJEN TAVOITTEET
Varmistaa ammatillisen koulutuksen laatua Yhtenäistää opiskelijan arviointia Lisää työelämän tahojen osallistumista koulutuksen suunnitteluun, toteutukseen ja ammattitaidon arviointiin Tuottaa tietoa oppimistuloksista sekä tutkintojen perusteiden, koulutuksen järjestäjän paikallisten opetussuunnitelmien, opetusjärjestelyiden sekä ohjaus- ja tukitoimien toimivuudesta ja niiden yhteyksistä oppimistuloksiin

6 AMMATTIOSAAMISEN NÄYTTÖJEN LAATUVAATIMUKSET
Opetussuunnitelmaperusteisuus Työelämälähtöisyys Tavoitelähtöinen ja kriteeriperusteinen opiskelijan arviointi Laaja-alaisen osaamisen arviointi Yhteisarviointi Dokumentoinnin yhdenmukaisuus ja läpinäkyvyys

7 METODOLOGISIA HAASTEITA 1
Koulutuksellinen tasa-arvo & arvioinnin oikeudenmukaisuus ja vertailtavuus Käsitys ammatista, työelämän edellyttämistä vaatimuksista ja koulutuksen tuottamasta osaamisesta: Osaamisen sisältö – käsitys ammatista ja työn vaatimuksista Syvällisyys: noviisista ekspertiksi – kriteereiden logiikka Käsitys pedagogista toimintavoista, joilla tavoitteena oleva osaaminen tuotetaan Riippuvuussuhteet – yhteydet Arvioinnin kriteeriperusteisuus Tutkintojen perusteiden osuvuus ja toimivuus

8 KRITEERIPERUSTEINEN ARVIOINTI
Osaaminen suhteessa ennalta asetettuihin osaamis- vaatimuksiin (tutkinnon peruste) Kriteeri = arviointi- ja arvosteluperuste, mittatikku ja erotteleva tekijä Neliportaisuus vrt. minimikriteerin alittaminen Vaatimustasojen määrittäminen ja niiden tulkinta – mikä on luokkien olennaisin ja ennalta määritetty ero Tarkoitus tuottaa luotettavaa tietoa vaatimukseksi asetetuista tiedoista ja taidoista suhteessa ammatin vaatimuksiin (vrt. työelämän vaatimukset ja ammattikuva) Anu Räisänen 2012

9 OPPIMISTULOSTEN RIIPPUVUUDET
Järjestäjien taustatiedot: koko, sijainti, opetuskieli, järjestämismuoto, koulutustehtävän monipuolisuus Opiskelijan taustatiedot: sukupuoli, äidinkieli, valintatoive, aiemman koulutuksen keskiarvo, työkokemus Erityisopiskelijoiden erityispiirteet: esimerkiksi opetussuunnitelman mukauttaminen Yhteys vaikuttavuuteen keskeyttäminen läpäisy työllistyminen jatko-opinnot Oppimistulos arvosanat Edellytykset Opettajien kelpoisuus Opettajien koulutus, työelämäjaksot Lähiopetus, opetuksen/ohjauksen määrä, koulutetut työpaikkaohjaajat kustannukset (top, näytöt) Prosessien laatu Työssäoppimista ja ammatti- osaamisen näyttöjä koskevat muuttujat Prosessi-indikaattorit: keskeyttäminen, läpäisy, opiskelijoiden tyytyväisyys Ennustavat mittarit (hyvinvointi-, tyytyväisyysmittarit, opetuksen/ohjauksen laatu) Seuraustulokset (oppimistulos, työllistyminen) Tulos toiminnan seurauksena

10 VAIKUTTAVATKÖ TEHDYT VALINNAT OPPIMISTULOKSIIN – ARVOSANOIHIN?
Onko oppiminen ja osaaminen toiminnan ja tehtyjen valintojen seuraus? (vrt. kompleksiset interventiot) Onko resursseilla yhteyttä oppimistuloksiin? Miten aika vaikuttaa? Onko koulutuksesta saatu hyöty jotain muuta kuin oppimistulos? Anu Räisänen 2012

11 METODOLOGISIA HAASTEITA 2
Arviointimenetelmän formatiiviset ja summatiiviset tarkoitukset Kontekstiperusteisen arviointitiedon käyttö, yleistettävyys ja siirrettävyys Kontekstiperusteisen arvioinnin laatuvaatimukset Osaamisen siirtovaikutusten (transfer) huomioon ottaminen Erilaisten arviointi- ja laadunvarmennusmenetelmien käyttö Tilivelvollisuus -käsitteen määrittäminen ”intelligent accountability” Anu Räisänen 2012

12 OSAAMISEN SIIRTOVAIKUTUS (TRANSFER)
Työelämässä tarvittava osaaminen Ammatillinen osaaminen: Työmenetelmien hallinta Työprosessien hallinta Elinikäisen oppimisen avaintaidot Tietoperustan hallinta Aika osaamisvaatimus: tavoite mittaamisen kohde: osaaminen (ei tehtävä) kriteeri: peruste johtopäätöksille kontekstin (arvioija, tehtävä, ympäristö) vaikutus näytön laajuus (osanäyttö – toimintakokonaisuus) opiskelijan kehitys

13 ARVIOINTI TEHTÄVÄ, LUONNE JA VAATIMUKSET
Tulkinnallinen analyysi suhteessa toiminnalle asetettuihin tavoitteisiin & vaatimuksiin MIKSI? Evaluation for accountability (intelligent) Evaluation for development & learning Evaluation for knowledge Arviointitiedon tuottaminen? Formatiivinen arviointi Summatiivinen arviointi Arvioijan ja arvioitavan välinen suhde Tehtävä: arviointitiedon käyttö Luotettavuus arvioinnissa Anu Räisänen 2012

14 ARVIOINNIN ULOTTUVUUKSIEN JÄNNITTEET
(Mari Räkköläinen 2011) SISÄINEN Yksityinen, henkilökohtainen ULKOINEN Julkinen, yleinen FORMATIIVINEN SUMMATIIVINEN LUOTTAMUS KONTROLLI Anu Räisänen 2012

15 METODOLOGISIA HAASTEITA 3
Arvioinnissa tarvittavan tiedon riittävyys ja osuvuus Arvioinnin ja koko prosessin luotettavuuden varmistaminen opiskelijan arvioinnin kriteeriperusteisuus näyttötehtävien osuvuus, kattavuus sekä vaativuuden tasaisuus näyttöympäristön vaikutukset arvioijan vaikutukset toimintakulttuuri ja perinne Laatuvaatimusten toteutuminen Tiedonhallintaprosessien laatu ja järjestelmien toimivuus Opiskelijan henkilökohtaisten tekijöiden vaikutukset Laadullisen arvioinnin tarve (itsearviointi, dokumentit, kuvaukset, indikaattorit, vertaisarvioinnit….)

16 NÄYTTÖPERUSTEISEN ARVIOINNIN VAHVUUDET JA ONGELMAKOHDAT
Vahvuuksia Ongelmakohtia Näytöt lisäävät arvioinnin osuvuutta, merkitystä ja autenttisuutta opiskelijan arvioinnissa (luotettavuus, aitous) Näytöissä on mahdollista arvioida laaja-alaista ammatillista osaamista Näytöt kehittävät opiskelijan arviointia ja mahdollistavat ammatillisen osaamisen yhteisarvioinnin Näytöt lisäävät oppilaitosten ja työpaikkojen paikallista yhteistyötä Näyttöperusteinen arviointi koetaan hyödylliseksi ja motivoivaksi paikallisella tasolla Näytöt eivät suoraan tuota vertailukelpoista tietoa kansallisella tasolla Näytöt on suunniteltu ennen kaikkea lisäämään arvioinnin osuvuutta eikä yhdenmukaisuutta Yhdenmukaistamisen vaarana on näyttöjen kaventuminen, arvioinnin osuvuuden ja autenttisuuden väheneminen Näyttöjen organisointi ja arviointikäytännöt sekä arvioitava osaaminen vaihtelevat paljon Näyttöperusteisen arvioinnin tarkoitus ja käyttö kansallisella tasolla on vielä epäselvä © Mari Räkköläinen

17 METODOLOGISIA HAASTEITA 4 jtk…..
Näyttöjen ulkopuolelle jäävän osaamisen arviointi Tietojärjestelmien hyödyntäminen arvioinnissa Sähköisen tietojärjestelmän kehittäminen Raportointi- ja palautejärjestelmän toimivuus Tulosten levittäminen Tulosten hyödyntäminen paikallisella ja kansallisella tasolla Arvioinnin vaikuttavuus (follow up)

18 HAASTEIDEN LOPUTTOMUUS
Näyttöjen ulkopuolelle jäävän osaamisen arviointi Tietojärjestelmien laatu ja hyödyntäminen Raportointi- ja palautejärjestelmän toimivuus Arviointitiedon julkistaminen Tulosten levittäminen Tulosten hyödyntäminen paikallisella ja kansallisella tasolla Arvioinnin vaikuttavuus (follow up) KOULUTUKSEN JÄRJESTÄJÄN OMA OPPIMISTULOSTEN ARVIOINTI

19 NYKYINEN ARVIOINTIKÄYTÄNTÖ
tutkintoa arvioinnin kohteena NYT Seurannan ja arvioinnin kohteena kaikki tutkinnot Arviointi perustuu tutkintojen perusteisiin ja ammattiosaamisen näyttöjen laatuvaatimuksiin Tieto tuotetaan ammattiosaamisen näytöistä Tutkintokohtainen lisäaineisto: laadulliset indikaattorit/ itsearviointi, näyttösuunnitelmat, tehtävät, arviointikäynnit otantana (tms.)

20 SÄHKÖINEN JÄRJESTELMÄ
Sähköinen järjestelmä SADe ohjelman etenemisen mukaan Tieto suoraan opintohallintojärjestelmästä Rekistereiden hyödyntäminen – portaali Taustamuuttujat: opiskelija-, prosessi-, resurssimuuttujat Kaikki tutkinnot Raportit sähköisestä järjestelmästä: omat analyysit ja vertailut Kansallinen seurantaraportti vuosittain kaikista tutkinnoista Tutkintokohtaiset arviointiraportit joka 5. vuosi Hyvinvointi-indikaattorit ja tyytyväisyysmittarit (AMPA & AIPAL) Arvioinnin laajentaminen näyttötutkintoihin (ei at ja eat)

21 AMMATILLISEN KOULUTUKSEN OPPIMISTULOSTEN ARVIOINTIPROSESSI
OKM Koulutuksen järjestäjä OPH OPH Päätös arvioinnista Koul.järj. opetussuunnitelma Arviointitiedon analysointi ja raportointi Tutkinnon perusteet Näyttöjen suunnittelu toteuttaminen arviointi Näytöt opiskelija opettaja työelämä Näyttöjen yleiset laatuvaatimukset OPS-perusteisuus Työelämälähtöisyys Tavoitelähtöinen ja kriteeriperusteinen arviointi Laaja-alaisen osaamisen arviointi Yhteisarviointi Yhtenäinen dokumentointi Arviointitiedon tallentaminen Excel Opiskelija- hallinta-järjestelmä Koulutuksen järjestäjän palaute Kansalliset raportit TOIMIELIN KEHITTÄMINEN Anu Räisänen 2012

22 ARVIOINTIKÄYTÄNTÖ: KEVÄT 2012
Perustutkinto I lukuvuosi II lukuvuosi III lukuvuosi Muu aineisto Hiusala Itsearviointi/laadulliset indikaattorit Sähkö- ja automaatio Näyttöjen kuvaukset Näyttösuunnitelmat Maatalous Arviointikäynnit (2-3/tutkinto) Arviointiseminaarit Arviointikohteet Näytöt Anu Räisänen

23 AMOP:N TULEVA JÄRJESTELMÄT
OPH Koulutuksen järjestäjät Tietojen kerääminen Opiskelijahallinto - järjestelmät OPH analysointi Palauteraporttien tuottaminen OHJ:ien tiedot Palaute raportit Raporttien vastaanotto Oma analysointi AMOP rajapinta/liityntä muokkaus Tiedot OPH:n käyttöön OKM Kansalliset Todennetun osaamisen rekisteri Tilastokeskus Wera Kouluta Opetus ja kulttuuritoimen rahoitusjärjestelmä Muut järjestelmät* * Kaikille tarvittaville tiedoille ei ole olemassa tai tiedossa lähtöjärjestelmää Ei liity suoraan AMOP:iin AMOP järjestelmä

24 LAATUYMPYRÄ JA MENETELMÄT
Prosessit, jotka varmistavat tavoitteiden saavuttamisen Päämäärä ja suunnitelma Prosessien ja toiminnan kehittäminen Saavutusten ja tulosten arviointi