© Maria Gutknecht-Gmeiner 2008 Johdanto eurooppalaiseen vertaisarviointiin - projektit - prosessi - Vertaisarviointi ja CQAF-malli

2 © öibf, Gutknecht-Gmeiner 2008 Yleisesittely  Projektit  Leonardo-projekti ”Peer Review in initial VET“  Leonardo-projekti ”Peer Review Extended“  Leonardo-projekti ”Peer Review Extended II“  Eurooppalaisen vertaisarvioinnin prosessi  Vertaisarviointi ja CQAF-malli  Tulevaisuuden näkymät  Verkkosivut ja yhteystiedot.

3 © öibf, Gutknecht-Gmeiner 2008 Vertaisarviointi ammatillisessa peruskoulutuksessa  Tavoite: Siirtää ja soveltaa vertaisarviointia ammatillisen peruskoulutukseen Euroopassa  Projektin tarkoitus: Ammatillisen koulutuksen laadunhallinnan teknisen työryhmän toimeksiannosta (2003)  Projektin kesto: Lokakuu 2004–Syyskuu 2007  22 (25) partneriorganisaatiot 11 Euroopan maat  AT, ES, DK, FI, HU, IT, NL, PT, RO, UK, CH;  13 (15) ammatillisen peruskoulutuksen järjestäjää  Päätuotteet  Eurooppalaisen vertaisarvioinnin käsikirja  Vertaisarvioijien koulutusohjelma  Pilotointivaihe 2006  15 vertaisarvioinnin pilottia on tehty ja 92 vertaisarvioijan poolia luotu, käsikirjaa on arvioitu ja muokattu arvioinnin tulosten pohjalta vuonna 2007  Tämänhetkinen tilanne  Projekti on suorittanut kaikki tehtävänsä ja tuotokset ovat valmiit.

4 © öibf, Gutknecht-Gmeiner 2008 Leonardo-projekti Peer Review Extended  Tavoitteissa on otettu huomioon aiemman ammatillisen peruskoulutuksen vertaisarviointiprojektin: "Peer Review in initial VET“ saadut tulokset  Vertaisarvioinnin laajentaminen uusiin maihin (DE, HU, ES)  Eurooppalaisen vertaisarvioinnin käsikirjan ja koulutuksen järjestäjille tarkoitettujen käytännön työvälineiden tarkistaminen  Vaihtoehtoiset tulevaisuudennäkymät vertaisarvioinnin toteuttamisesta kansallisella ja paikallisella tasolla (AT, IT, FI, HU, ES)  Projektin kesto Tammikuu–joulukuu 2007  9 partneriorganisaatiota kuudesta Euroopan maasta  4 koulutuksen järjestäjää (AT, DE, ES, HU), 2 koordinoivaa partneria (ES, HU), 2 kehittämistyöhön osallistuvaa partneria (FI, IT)  Päätuotteet  (Tarkistettu eurooppalaisen vertaisarvioinnin käsikirja), työvälineet  Raportit 1) Kansalliset tulevaisuuden näkymät (kts. yllä kohta), 2) Vertaisarvioinnin kontribuutio CQAF-malliin  Pilotointivaihe Syys–lokakuu  4 vertaisarvioinnin pilotointia on tehty  Nykytilanne  Projekti on suorittanut kaikki tehtävänsä ja tuotokset ovat valmiit.

5 © öibf, Gutknecht-Gmeiner 2008 Leonardo-projekti ”Peer Review Extended II“  Tavoitteet "Transfer of Innovation" based on "Peer Review in initial VET" & "Peer Review Extended"  Eurooppalaisen vertaisarviointiprosessiin muokkaaminen uusien maiden ja jatko- ja täydennyskoulutuksen tarpeisiin soveltuvaksi.  Lähiopetuksena toteutettavan vertaisarvioijien koulutusohjelman kehittäminen  Käytännön kokeilujen jatkaminen (Pilotointi ja levitystoimet)  Projektin kesto Marraskuu 2007–Lokakuu 2009  14 partneriorganisaatiota, 9 partnerimaata, joista 3 on uusia (CZ, SI, TR)  Päätuotteet  Eurooppalainen vertaisarvioinnin käsikirja ammatilliseen jatko- ja täydennyskoulutukseen  Vertaisarvioijien koulutusohjelma  Levitysmateriaali ja ohjeistus  Pilotointivaihe  Huhtikuu 2008–huhtikuu 2009  6 Pilot Peer Reviews planned  Tämänhetkinen tilanne  Tuotteita ollaan kehittämässä  Pilotointivaihe on meneillään (kevät 2009)  Vertaisarvioinnin koulutus (Wienissä lokakuussa 2008).

6 © öibf, Gutknecht-Gmeiner 2008 Mitä vertaisarviointi on?  On ulkoista arviointia  Vertaisarvioijina toimivat (Peerit) ovat samanvertaisessa asemassa toimivia kollegoja  Edellyttää itsearviointia  Vertaisarvioijat käyvät vertaisarvioinnin kohteena olevassa organisaatiossa  On nykyisin vallitsevana käytäntönä korkea-asteen koulutuksessa.

7 © öibf, Gutknecht-Gmeiner 2008 Eurooppalaisen vertaisarvioinnin keskeinen tavoite  Eurooppalainen vertaisarviointiprosessi tukee ammatillisen koulutuksen järjestäjiä heidän pyrkimyksissään parantaa koulutuksen laatua.

8 © öibf, Gutknecht-Gmeiner 2008 Eurooppalaisen vertaisarvioinnin prosessi  Pääpiirteet  Eurooppalaisen vertaisarvioinnin prosessi ja sen vaiheet  Vertaisarvioijat  Laatualueet

9 © öibf, Gutknecht-Gmeiner 2008 Vertaisarviointi formatiivisena arviointina Eurooppalainen vertaisarviointi Ulospäin näkyvä Tilivelvollisuus Kehittyminen Ammatillisuus Sisäänpäin suuntautuva Kontrolli Valta Vastuullisuus Velvollisuus Vastuu Luottamus Mukaeltuna Nisbet 1990

10 © öibf, Gutknecht-Gmeiner 2008 Vertaisarvioinnin yleispiirteet  On ulkoista formatiivista arviointia  Soveltuu toteutettavaksi ammatillisessa koulutuksessa toimivien kesken  Vapaaehtoista: koulutuksen järjestäjä päättää ja omistaa vertaisarvioinnin tulokset  On laadullista arviointia: käytetään laadullisia arviointimenetelmiä ja hyödynnetään olemassa olevaa määrällistä tietoa  Tehdään verkostossa.

11 EUROOPPALAISEN VERTAISARVIOINNIN NELJÄ VAIHETTA Seuraava vertaisarviointi 1. Valmistelut (vähintään 3 kk ennen) •Käynnistämistoimet •Vertaisarviointiryhmän kokoonpano •Itsearviointi ja -raportti •Käynnin valmistelu (koulutuksen järjestäjä, vertaisarvioijat) 4. Käytännön toteutus (6-12 kk) •Tavoitteiden muotoilu •Resurssien selvittäminen •Toimintasuunnitelma ja toteutus •Seuraavan arvioinnin suunnittelu 3. Vertaisarviointiraportti (4 viikkoa) •Alustava raportti •Ammatillisen koulutuksen järjestäjän kommentit •Lopullinen raportti 2. Vertaisarviointikäynti (2-3 pv) •Tiedonkeruu •Tietojen analysointi •Arviointi •Suullinen palaute

12 © öibf, Gutknecht-Gmeiner 2008 Keitä ovat vertaisarvioijat? Vertaisarvioija on henkilö,  joka on samanvertaisessa asemassa toimiva kollega kuin vertaisarvioinnin kohteena olevat,  joka työskentelee samanlaisessa ympäristössä (ja/tai samanlaisessa organisaatiossa),  joka on ulkopuolinen (esim. eri organisaatiosta) ja riippumaton (hänellä ei ole mitään henkilökohtaista tai organisaatioon liittyvää riippuvuussuhdetta arvioinnin kohteeseen, mikä voisi vaikuttaa arviointiin), ja  hänellä on erityistä ammatillista asiantuntemusta ja tietoa arvioinnin kohteena olevalta alueelta (yhteiset arvot, ammatillinen pätevyys ja asenteet, kielitaito...)  siten tuoden jossakin määrin arvioinnin kohteena olevasta alueesta sisäistä tietoa prosessiin yhdistäen toisesta organisaatiosta tulevan ulkoiseen näkemykseen (“ulkoinen asioista perillä oleva henkilö”).

13 © öibf, Gutknecht-Gmeiner 2008 Vertaisarviointiryhmän kokoonpano Vertaisarvioijien lukumäärä (4 vertaisarvioijaa) Ammatillinen taustaVaadittava pätevyys 2 “Todellista vertaisarvioijaa* (2 toimii tällä hetkellä opettajana) Toisen ammatillisen koulutuksen järjestäjän palveluksessa olevia asiantuntijoita (opettajia, ohjaajia, johto tai laadunhallinnan asiantuntijoita jne.)  Tietoa arvioinnin kohteena olevasta laatualueesta  Kokemusta opettamisesta ja oppimisesta  Kokemusta laadunvarmistuksesta ja kehittämisestä 1 "Sidosryhmiä edustava vertaisarvioija ** Muiden sidosryhmien edustaja (toiselta koulutusjärjestelmän tasolta, yrityksestä, sosiaalipartnereista jne.)  Tietoa arvioinnin kohteena olevasta laatualueesta  Kokemusta laadunvarmistuksesta ja kehittämisestä 1 “Arvioinnin asiantuntija*Arvioinnin/laadunarvioinnin asiantuntija Professional evaluator/quality assessor (esim. tutkimuslaitoksesta, yliopistosta, riippumattomasta auditointi-/ akkreditointiorganisaatioista tai koulutuksen järjestäjältä)  Kokemusta arvioinnista, prosessin johtamisesta ja kommunikoinnista  Tietoa ammatillisen koulutuksen järjestelmistä Lisäksi: 1 sukupuolten välisen tasa-arvon valtavirtaistamisen asiantuntija *; 1 kansainvälinen vertaisarvioija** •vaatimus ** suositus, *** vaatimus kansainvälisissä vertaisarvioinneissa

14 © öibf, Gutknecht-Gmeiner 2008 Mitä on arvioinnin kohteena?  Koko organisaatio tai sen osa (arviointi ei kohdistu yksittäiseen henkilöön!)  "Eurooppalaiset arviointialueet" kansainväliseen vertaisarviointiin  “Koulutusorganisaation ydintoiminta“ oppiminen ja opetus"  Kansallisella tasolla, eurooppalainen vertaisarvioinnissa voidaan myös käyttää tarkoituksenmukaista kansallista viitekehystä.

15 © öibf, Gutknecht-Gmeiner 2008 Eurooppalaisen vertaisarvioinnin laatualueet  1: Opetussuunnitelmat  2: Oppiminen ja opettaminen  3: Opiskelijan valmiuksien ja osaamisen arviointi  4: Oppimistulokset  5: Toimintaympäristön monimuotoisuus ja esteettömyys  6: Johtaminen ja hallinto  7: Oppilaitoksen ilmapiiri ja strateginen suunnittelu  8: Infrastruktuuri ja taloudelliset resurssit  9: Henkilöstöresurssien kohdentaminen, rekrytointi ja kehittäminen  10: Henkilöstön työolot  11: Sidosryhmäyhteistyö ja kansainvälistyminen  12: Osallistuminen ja yhteisöllisyyttä vahvistava toiminta  13: Sukupuolten välisen tasa-arvon valtavirtaistaminen  14: Laadunhallinta ja arviointi On valittava yksi neljästä ydin- prosesseihin liittyvästä arviointialueesta (1-4).

16 © öibf, Gutknecht-Gmeiner 2008 Vertaisarviointi ja CQAF-malli Vertaisarviointi (itsearviointi- raportin analyysi; vertaisarviointi- käynti) Seuranta: (vertaisarviointi- raportin pohjalta tehty suunnittelu ja jatkotoimenpiteet) Vertaisarviointi- raportti (vahvuudet ja parantamisalueet) Ammatillisen koulutuksen järjestäjien Itsearviointi (Itsearviointiraportti) Vertais- arvioinnin menetelmät CQAF-mallin elementit eurooppalaisessa vertaisarvioinnissa Vertaisarviointi menetelmänä Kontribuutio ulkoiseen seurantaan Indikaattorien käyttö Hyödyllisyyteen vaikuttaminen: molemminpuolinen luottamus ja läpinäkyvyys

17 © öibf, Gutknecht-Gmeiner 2008 Vertaisarviointi arviointimenetelmänä  Vertaisarviointi on ulkoisen laadun arvioinnin väline (CQAF-mallin kolmas vaihe)  Pohjautuu olemassa oleviin laadunvarmistuksen ja kehittämisen strategioihin ja toimiin (erityisesti itsearviointiin) – ei päällekkäistä toimintaa  Koulutuksen järjestäjien on helppo käyttää (myös niiden, jotka ovat “vasta-alkajia” ulkoisessa arvioinnissa), joustava soveltamisala  On sisäisen ja ulkoisen arvioinnin yhdistelmä: laadun parantaminen ja tilivelvollisuus  Taloudellinen prosessi.

18 © öibf, Gutknecht-Gmeiner 2008 Vertaisarviointi arviointimenetelmänä  Laaja hyödyntäminen/hyödyllisyys odotusarvona  vaikuttavuus/ tehokkuus (vaikuttaa CQAF-mallin muutosvaiheeseen):  Koulutuksen järjestäjän vastuu ja prosessin omistaminen edistää sen vaikuttavuutta  Yleensä kokea vertaisarvioijien hyväksyntä koulutuksen järjestäjien taholta  Toistuvat vertaisarvioinnit edistävät laadun jatkuvaa parantamista  Innovaatioiden siirto ja verkostoituminen  Avoimuus, dialogi  molemminpuolinen oppiminen (kaikki mukana olevat hyötyvät); asiantuntemus jää järjestelmän sisälle  Ruohonjuuritasolla kehitetty ammatillisen koulutuksen laatu soveltuu vallan hajauttamiseen alemmille tasoille.

19 © öibf, Gutknecht-Gmeiner 2008 Laatualueet sijoitettuna yleiseen laadunvarmistuksen ja laadunhallinnan viitekehykseen (CQAF) Toteutus Laatualueet 2, 8, 9, 10, 11, 12 Tarkistus Laatualueet 13, 14 Arviointi Laatualueet 3, 4 Suunnittelu Laatualueet 5, 6, 7, 1 Peer Review Methodology 2)Laatuympyrää voidaan tarkastella jokaisen laatualueen arvioinnissa. 1)Laatualueiden yhteydet CQAF-mallin eri vaiheisiin

20 © öibf, Gutknecht-Gmeiner 2008 Tulevaisuuden näkymä t  Ammatillisen koulutuksen laadunvarmistuksen eurooppalainen verkosto (ENQA-VET): Vertaisarvioinnin temaattinen työryhmä ( )  Kansallinen ja paikallinen toteutus:  Itävalta, Italia, Katalonia, Suomi ja Unkari  Tulevat toimet ammatillisen koulutuksen järjestäjien tasolla eri maissa.

21 © öibf, Gutknecht-Gmeiner 2008 Vertaisarvioinnin nettisivusto Vertaisarvioinnin nettisivustolla on tietoa:  Eurooppalaisen vertaisarvioinnin prosessista  Vertaisarviointiprojekteista  Kokemuksia vertaisarvioinnista ja sen käytöstä  Vertaisarvioinnin sovellutuksista Kirjallisuutta ja käytännöllistä materiaalia:  Vertaisarvioinnin käsikirja  Vertaisarvioinnin työvälineitä  Raportteja, artikkeleita, julkaisuja ja kokemuksia

22 © öibf, Gutknecht-Gmeiner 2008 Yhteystiedot  Eurooppalaisen vertaisarviointiprojektin koordinointi Österreichisches Institut für Berufsbildungsforschung (Austrian Institut for Research on Vocational Training) Dr. Maria Gutknecht-Gmeiner Judith Proinger +43 – 1 –  Lisätietoja Suomessa: ja