OSAAMISEN ARVIOINTIMENETELMISTÄ Petri Haltia Metropolia 7.5.2010.

Esitys aiheesta: "OSAAMISEN ARVIOINTIMENETELMISTÄ Petri Haltia Metropolia 7.5.2010."— Esityksen transkriptio:

1 OSAAMISEN ARVIOINTIMENETELMISTÄ Petri Haltia Metropolia 7.5.2010

2 OSAAMISEN ARVIOINTIMENETELMISTÄ Arviointimenetelmiä tulisi valita vasta kun on käsitys ja ymmärrys siitä onko arvioinnin tarkoitus ensisijaisesti oppimisen ohjaaminen (formatiivinen arviointi) vai osaamisen arviointi (summatiivinen arviointi) mitä, millaista osaamista arvioidaan ja millaisilla kriteereillä

3 Summatiivista vai formatiivista, arvioidaanko vain mitä osaa vai myös mitä ja miten olisi mahdollista oppia, onko tavoitteena vain osaamisen tunnustaminen vai myös kehittyminen? Summatiivinen: saavutetun osaamisen arviointia, tähtää oppimistulosten muodolliseen vahvistamiseen. Formatiivinen: arviointia, jonka ensisijainen tarkoitus on edistää opiskelijan oppimista. Arviointi voi auttaa oppimista, jos se tuottaa informaatiota joka toimii palautteena oppijalle ja opettajalle, itsensä ja toistensa arvioimiseen, opettamisen ja oppimisen muotoiluun. Arvioinnista tulee formatiivista vasta kun saatuja tuloksia todella käytetään toimien muokkaamiseen oppimistarpeiden mukaiseksi. vaikuttaa menetelmien ja menettelytapojen valintaan

4 OSAAMISEN ARVIOINTIMENETELMISTÄ Osaamisen arvioinnissa olennaista näkemys ja ymmärrys arvioitavasta osaamisesta; millaista osaamista, millaisia tietoja, taitoja, asenteita? A) Funktionaalinen lähestymistapa Lähtökohta: Osaamistavoitteet (esim. opintojakson tavoitteet) luokitellaan osaamisen luonteen mukaan kokonaisuuksiksi (esim. tiedot, taidot). Tämän jälkeen näitä osakokonaisuuksien tavoitteita täsmennetään pienemmiksi ja tarkemmiksi kokonaisuuksiksi (units), joita jokaista arvioidaan erikseen. Lähestymistapa antaa arvioinnille tarkkuutta mutta vaarana on arvioinnin ”raskaus” ja kalleus. Seurauksena voi olla arvioinnin ja osaamisen atomistisuus. Raimo Jaakkola MENETELMIÄ

5 OSAAMISEN ARVIOINTIMENETELMISTÄ B) Holistinen tai ”integratiivinen” lähestymistapa Lähtökohta: Osaamisessa yhdistyvät tiedot tai tietäminen, toiminta ja siihen liittyvät taidot, asenteet ja arvot. Holistisessa arvioinnissa pyritään siihen, että tätä osaamista arvioidaan kokonaisuutena ottaen huomioon eri osien (tietojen, taitojen ja asenteiden ) suhteet toisiinsa. Lähestymistapa antaa arvioinnille pätevyyttä ja luotettavuutta ja saman aikaisesti säästää kustannuksia sekä tuo arviointiin tehokkuutta. Mahdollistaa myös ”korkeamman tasoisen” osaamisen arvioinnin, jota on vaikea saada näkyviksi ja arvioitaviksi (Hager) Raimo Jaakkola MENETELMIÄ

6 OSAAMISEN ARVIOINTIMENETELMISTÄ Kriteeri = arviointi-, arvosteluperuste, mittapuu, (ratkaiseva) tunnus(merkki), erottava ominaisuus Vaatimustasojen tulisi olla järkeviä suhteessa arviointi- ja päätöksentekoprosessin tarkoitukseen; rajojen tulisi kuvata tarkoitettua eroa eri tasojen välillä Millaiset kriteerit (määrälliset, laadulliset, oppiainelähtöiset, työelämälähtöiset...), millaiset menetelmät?

7 OSAAMISEN ARVIOINTIMENETELMISTÄ Osaamisen arvioinnin menetelmät tulisi valita niin, että arvioidaan sitä osaamista mitä on tarkoituskin muu kuin arvioitava osaaminen ei vaikuta tuloksiin (ei tulla arvioineeksi muuta osaamista niin, että se vaikuttaa johtopäätöksiin) Laatukriteerejä lisää seuraavassa...

8 OSAAMISEN ARVIOINTIMENETELMISTÄ SOVELTU- VUUS TAR- KOITUK- SEEN Merkityksellisyys Läpinäkyvyys Sopivuus itsearviointiin Tasapuolisuus Autenttisuus Päätösten toistettavuus Kognitiivinen monipuolisuus Vertailtavuus Hyväksyttävyys Koulutukselliset seuraukset Osaamisperustaisen arvioinnin laatukriteerit Baartman ym. 2006 Kustannukset ja tehokkuus

9 OSAAMISEN ARVIOINTIMENETELMISTÄ Näkemys ja ymmärrys osaamisesta Osaamisperustaisen arvioinnin laatukriteerit Lähde: Baartman, L-K.J, Bastiaens, T.J., Kirschner, P.A. & van der Vleuten, C.P.M. 2006. The wheel of competency assessment: presenting quality criteria for competency assessment programs. Studies in Educational Evaluation 32, 53-170 SOPIVUUS TARKOITUKSEEN; sopii p ää m ää riin, arvioitaviin sis ä lt ö ihin ja osaamiseen, arviointiymp ä rist öö n, arvioitaville Vertailtavuus; arvioinnin johdonmukaisuus ja vastuullisuus, olosuhteiden ja kriteerien mahdollisimman suuri samankaltaisuus kaikille arvioitaville P ää t ö sten toistettavuus; arviointip ää t ö sten riippumattomuus ajasta ja arvioijista Hyv ä ksytt ä vyys; ko. alan edustajien tulee hyv ä ksy ä arvioinnit L ä pin ä kyvyys; arvioinnin selkeys ja ymm ä rrett ä vyys – tarkoitus, kriteerit, pisteytys, arvioijat …

10 Näkemys ja ymmärrys osaamisesta Autenttisuus; vastaavuus tulevaan ammatilliseen toimintaan; arvioitavan teht ä v ä n, fyysisen ymp ä rist ö n, sosiaalisen ymp ä rist ö n, tulosten, kriteerien Kognitiivinen monipuolisuus; teht ä vien tulisi sis ä lt ää my ö s vaativimpia kognitiivisia taitoja Merkityksellisyys; arvioinnilla tulisi olla arvoa ja merkityst ä eri osapuolille (arvioitavat, arvioijat, tulevat ty ö nantajat) Tasapuolisuus; arvioinnin ei tulisi suosia tai syrji ä tiettyj ä ihmisryhmi ä Soveltuvuus itsearviointiin; kriteerien selkeys, osoittaa heikkouksia ja edist ää oppimisprosessin reflektointia Koulutukselliset seuraukset; tarkoitetut ja tarkoittamattomat, my ö nteiset ja kielteiset seuraukset opiskelijoille ja opettajille Kustannukset ja tehokkuus; aika, raha ja muut resurssit suhteessa hy ö tyihin

11 OSAAMISEN ARVIOINTIMENETELMISTÄ

12 ARVIOINNIN STRATEGIAT/MENETELMÄT ( RMIT UNIV./Jaakkola ) Eräitä arviointistrategioita/menetelmiä: Toimintatutkimusprojektit; käytännön tutkimus-/selvitysprojektit, joissa opiskelijat tutkivat ja arvioivat työtään saadakseen ratkaisuja esille tulleisiin ongelmiin tai kehittääkseen ammattikäytäntöä. - toiminta – reflektio syklit Artikkeleiden arvioinnit; analyysikyky, kehittää tulkintaa ja arviointia, Arviointi autenttisissa toimintaympäristöissä ja tehtävissä; tietojen ja taitojen hallinta, ymmärtäminen, ja niiden soveltaminen autenttiseen toimintaympäristöön. Case arviointi; spesifien tilanteiden analysointi, kuvaaminen, reflektointi, usein osittaa ongelmanratkaisukykyä, johtopäätösten tekoa tulevaisuuteen

13 Laboratorio- tai klinikkaolosuhteissa toimiminen; rajatut autenttiset toimintaprosessit, joita voidaan arvioida havainnoimalla, kriittisten pisteiden arvioinnilla, kyselyillä, itse- tai vertaisarvioinnilla ja/tai niiden yhdistelmillä. Ryhmä/tiimi työskentelyn arviointi; kommunikatiiviset ja johtamisen taidot Kriittisten pisteiden analysointi; keskeisten ja/tai olennaisten asioiden tai tapahtumien havaitseminen ja niiden merkityksen ymmärtäminen. Esseiden ja muiden kirjallisten tuotoksien arviointi; tietämyksen hallinta, ymmärtäminen, tiedon käytön hallinta ri tilanteissa jne. Perinteiset tenttitilaisuudet, valvotut, erilaiset kirjalliset kokeet Kenttä- tai harjoitteluraportit, aineiston keruu sen organisointi, analysointi ja esittäminen

14 Monivalintatehtävät, eri variaatioita Portfoliot; erityisesti osaamisportfoliot, yleisin arviointimenetelmä AHOT:ssa Posterit ja niiden esittäminen; asian hallinta, tiivistäminen, havainnollistaminen, Laboratorio/studio työskentelyn raportit; analyyttinen arvio käytännön toiminnasta ja saavutetuista tuotoksista. PBL raportit; systemaattinen tiedonkeruu käsitellyistä ongelmista, niiden sisällöistä, lähestymistavoista, ratkaisuista ja vaikutuksista Opinnäytetyöt ja/tai projektin tuotokset ja prosessiarviot: useita erilaisia tarkkoja kriteereitä, vaihtelee aloittain Itse- ja vertaisarviointi; antaa mahdollisuuden osaamisen osoittamisen täydentämiseen, tuo esille asenteita ja eräitä minäkuvan piirteitä.

15 Simulaatiot ja roolipelit; analyysi- ja synteesitaidot, ongelmanratkaisutaidot, päätöksentekotaidot monimutkaisuuden hallinta. Käytetään yleensä sellaisissa tilanteissa missä halutaan minimoida erilaiset turvallisuusriskit jne. tai selvitetään monimutkaisten syy- seuraussuhteiden hallintaa. Työnäytteet; yksitäisten taitojen tai työsuoritusten osoittamista käytännössä.

16 OSAAMISEN ARVIOINTIMENETELMISTÄ VIELÄ LOPUKSI.... Valitun menetelmän sovelluttava kyseessä olevan osaamisen arviointiin Menetelmän sovelluttava kyseessä olevalle henkilölle, menetelmät edellyttävät mm. erilaista osallistumisen ja osallisuuden astetta arvioitavalta Suositeltavinta useanlaisten menetelmien käyttäminen Yhden menetelmän käytön yhteydessä hyvä pohtia myös kytkentää laajempiin tavoitteisiin ja odotettuun osaamiseen Yhden menetelmän ei tarvitse täyttää kaikkia laatukriteerejä, kokonaisuus ratkaisee yksittäisistä menetelmistä arviointiohjelmiin?