Korkeakoulujen arviointineuvosto — Rådet för utvärdering av högskolorna — The Finnish Higher Education Evaluation Council (FINHEEC) Kansalliset ja kansainväliset auditoinnit ja akkreditoinnit Riitta Pyykkö Tampere Suomen yliopistokirjastojen laatuseminaari

Korkeakoulujen arviointineuvosto — Rådet för utvärdering av högskolorna — The Finnish Higher Education Evaluation Council (FINHEEC) 1/7/14 Riitta Pyykkö 2 Kansallisen arviointipolitiikan taustat  Korkeakouluneuvosto  Tutkimuksen arviointi Suomen Akatemia 1983  VNp 1986  Tulosohjaus/sopimusohjaus/markkinaohjautuvuus: jatkuva arviointi itseohjautuvuuden edellytyksenä  Eräissä Euroopan maissa valtiolliset arviointi-instituutiot  Ammattikorkeakoulujen perustaminen  Riippumattoman arviointielimen tarve  KKA 1996-

Korkeakoulujen arviointineuvosto — Rådet för utvärdering av högskolorna — The Finnish Higher Education Evaluation Council (FINHEEC) 1/7/14 Riitta Pyykkö 3 Kansallisesta kansainväliseen  Kansallisten arviointielimien perustaminen 1990-luvulla > kansainvälisten quality assurance -verkostojen synty  Paineita ylhäältä (Lissabonin strategia, Bolognan prosessi) ja alhaalta (kansalaisilta ja elinkeinoelämästä)  Euroopan komission aktiivisuus (pilottiprojekti 1995)  Tavaroiden, pääomien, työvoiman, opiskelijoiden, palveluiden liikkuvuus > edellyttää luottamusta laatuun  OECD:n raportit  Kansainväliset rankingit  2000-luvulla Bolognan prosessi ja eurooppalaisen korkeakoulutusalueen rakentaminen keskeiseksi laadunvarmistustyön suuntaamisessa  European Quality Assurance Forums 2006-

Korkeakoulujen arviointineuvosto — Rådet för utvärdering av högskolorna — The Finnish Higher Education Evaluation Council (FINHEEC) 1/7/14 Riitta Pyykkö 4 Bolognan prosessi ja laadunvarmistus 1(2)  prosessi rytmittyy kahden vuoden välein järjestettävin ministerien seurantakokouksin  Bolognan julistus 1999: Euroopan tasoisen yhteistyön vahvistaminen laadunvarmistuksessa; vertailukelpoisten kriteerien ja menetelmien kehittäminen  Praha 2001: korkeakoulujen, arviointiorganisaatioiden ja ENQA:n sekä muiden vastaavien organisaatioiden kehitettävä yhteinen viitekehys ja levitettävä hyviä käytänteitä  Berliini 2003: Quality… has proven to be at the heart of the EHEA; kansallisten järjestelmien sisällettävä 2005 mennessä: * eri elinten ja laitosten vastuunjako * koulutusohjelmien tai korkeakoulujen arviointi (ml. sisäinen arviointi, ulkoinen arviointi, opiskelijoiden osallistuminen arviointiin sekä tulosten julkistaminen) * akkreditaatio-, sertifiointi- tai muu vastaava järjestelmä * osallistuminen kansainväliseen toimintaan, yhteistyöhön ja verkostoihin  E4:n (ENQA, EUA, EURASHE, ESIB/ESU) kehitettävä yhteiset suositukset vertaisarvioinnille

Korkeakoulujen arviointineuvosto — Rådet för utvärdering av högskolorna — The Finnish Higher Education Evaluation Council (FINHEEC) 1/7/14 Riitta Pyykkö 5 Bolognan prosessi ja laadunvarmistus 2(2)  Bergen 2005: hyväksyttiin European Standars and Guidelines for Quality Assurance in the EHEA (ESG): yhteinen viitekehys ja periaatteet; määrittää sen, mitä tulisi tehdä, ei sitä, miten; noudattaminen edellytys eurooppalaiseen rekisteriin pääsemiselle  seuraavaksi tehtäväksi eurooppalaisen laadunvarmistusorganisaatioiden rekisterin luominen  Lontoo 2007: E4:n esitys rekisterin (European Quality Assurance Register for Higher Education, EQAR) rakenteeksi  rekisteri perustettiin Brysseliin maaliskuussa 2008  ENQA:n täysjäsenyys normaalisti osoittaa myös rekisterikelpoisuuden  mielipide kansallisten laadunvarmistusorganisaatioiden keskuudessa positiivisen odottava (4/5 aikeissa hakeutua rekisteriin)

Korkeakoulujen arviointineuvosto — Rådet för utvärdering av högskolorna — The Finnish Higher Education Evaluation Council (FINHEEC) 1/7/14 Riitta Pyykkö 6 Suomen valinta: auditointi  kehittävän arvioinnin periaate  kolmijako: korkeakouluilla vastuu toimintojensa laadusta, OPM:llä ohjaus ja päätöksenteko, KKA:lla kansallinen vastuu laadunvarmistuksesta  Berliinin kokouksen jälkeen kansallinen työryhmä esitti auditointimallia  tavoitteena malli, joka 1) sopii kansalliseen korkeakoulu- ja arviointiperinteeseen ja 2) on kansainvälisesti pätevä ja uskottava sekä täyttää eurooppalaisen kehityksen vaatimukset  ottaa huomioon korkeakoulujen erot; perustuu luottamukseen korkeakoulujen autonomiaan ja omaan vastuuseen  fittness for purpose -ajattelu: korkeakoulu itse päättää laadunvarmistusjärjestelmästään, auditoinnissa arvioidaan, onko se tarkoituksenmukainen: kattava, toimiva ja vaikuttava; auttaako se korkeakoulua saavuttamaan ne tavoitteet jotka se on itselleen asettanut  tukee kehittämistyötä  I Auditointikäsikirja ; II  kaikkien korkeakoulujen laadunvarmistusjärjestelmät auditoidaan 2011 mennessä

Korkeakoulujen arviointineuvosto — Rådet för utvärdering av högskolorna — The Finnish Higher Education Evaluation Council (FINHEEC) 1/7/14 Riitta Pyykkö 7 Akkreditointi vs. auditointi  tarpeen korkeakoulujärjestelmän voimakkaasti kehittyessä tai muuttuessa  ”kyllä”/”ei” -tulos  korostaa tilivelvollisuutta  perustuu luvattuihin tuloksiin  standardit tulevat korkeakoulujen ulkopuolelta  käytössä esimerkiksi Itävallassa, Saksassa, Ranskassa, Italiassa, Alankomaissa, Espanjassa  sopii ”kypsälle” korkeakoulujärjestelmälle  antaa kehittämissuosituksia  korostaa kehittämistä ja kriittistä itsearviointia  arvioi aiempia ja nykyisiä tuloksia  korkeakoulut itse määrittelevät standardit  vakiintunut Suomessa, Tanskassa (nyt muutoksessa), Norjassa, Skotlannissa, Englannissa, Pohjois- Irlannissa, Walesissa (osassa maita samalla käytössä ohjelma-akkreditointi); tulossa käyttöön Itävallassa, Saksassa, Espanjassa; Alankomaissa myös kiinnostusta

Korkeakoulujen arviointineuvosto — Rådet för utvärdering av högskolorna — The Finnish Higher Education Evaluation Council (FINHEEC) 1/7/14 Riitta Pyykkö 8 Euroopan maiden erilaiset ratkaisut (ENQA Survey 2008)  arvioinnit (evaluations): oppiainetaso (5/33), koulutusohjelmat (23/35), kokonaiset korkeakoulut (14/35), teemat (2/31)  auditoinnit: korkeakoulutasolla 13/32, hyvin harvoin ohjelmatasolla  akkreditoinnit: koulutusohjelmat (25/38), korkeakoulut (13/34)  benchmarking: useimmissa maissa korkeakoulujen kesken; voi koskea oppiaineita, koulutusohjelmia, kokonaisten korkeakoulujen toimintaa tai teemoja; hyvien käytänteiden levittämistä  ulkoinen arviointi tapahtuu useimmiten säännöllisin välein (tavallista 5-6 vuotta), paitsi teema-arvioinnit  lähes 2/3 arvioi (eri tavoin) ohjelmia, vain 40% kokonaisia korkeakouluja  90% organisaatioita käytössä useampi arviointityyppi, kolme neljästä muuttanut äskettäin tai muuttamassa repertuaariaan  eroja myös: Kuka tilaa arvioinnit? Kuka maksaa? Kuka organisoi? Mikä on eri tahojen, erityisesti opiskelijoiden rooli? Mitä seurauksia arvioinneista on?  ratkaisut nähtävä kansallisessa kontekstissa (contextualisation of QA), mutta päästävä kuitenkin vertailukelpoisiin malleihin (standardisation of QA)  laatu on aina suhteellinen käsite

Korkeakoulujen arviointineuvosto — Rådet för utvärdering av högskolorna — The Finnish Higher Education Evaluation Council (FINHEEC) 1/7/14 Riitta Pyykkö 9 Kokemuksia auditoinneista 1(2)  auditoijien valintaan kiinnitettävä erityistä huomiota: oltava kk- kentän ja laatujärjestelmien hyvä tuntemus sekä arviointikokemusta; ryhmiin kokeneita ja uusia  oltava kunnolla aikaa perehdytykseen sekä auditointiaineistoon tutustumiseen  puheenjohtajan rooli keskeinen (ml. ilmapiirin ylläpitäminen!)  opiskelijoiden osallistuminen tärkeä: varmistavat arviointiprosessin monipuolisuuden ja kattavuuden ja ovat tärkeitä tulosten saattamisessa käytäntöön yo/opiskelijakunnissa ja korkeakoulujen hallinnossa  ryhmien oltava tarkkana, että eivät ala arvioida tulosten laatua (tässä sihteerien rooli tärkeä)  arvioivan tekstin kirjoittaminen vaativaa (evidenssivelvoite)  raporttien vertailtavuus noussut yhä tärkeämmäksi auditointien edetessä, erityisesti uusintaan päätyvien kohdalla  kuinka paljon ja miten raportteja hyödynnetään korkeakouluissa? tästä kerätään palautetta, mutta lisääkin tietoa olisi hyvä saada

Korkeakoulujen arviointineuvosto — Rådet för utvärdering av högskolorna — The Finnish Higher Education Evaluation Council (FINHEEC) 1/7/14 Riitta Pyykkö 10 Kokemuksia auditoinneista 2(2)  kaikkien KKA:n arviointien tulokset julkisia: raportit julkaistaan KKA:n julkaisusarjassa ja julkistetaan seminaarissa > mahdollisuus avoimeen keskusteluun vastaa kehittävän arvioinnin periaatetta  seminaarit voivat lisätä arvioinnin julkisuutta ja sitä kautta myös vaikuttavuutta (entä kielteinen julkisuus uusinnan kohdalla?)  seminaarien keskusteluissa korostuu itse prosessin, itsearvioinnin ja arviointivierailun merkitys  seminaareilla pyritään ehkäisemään mahdollisia pelkän kirjoitetun raportin pohjalta syntyviä väärinkäsityksiä tai kärjistyksiä  seminaareissa(kin) saadaan myös palautetta itse mallista  valmisteluvaiheessa korkeakoulut itse toivoivat, että menetelmällä olisi seuraamuksia  5/19 johtanut uusinta-auditointipäätökseen (marraskuu 2008); 1/5 läpäissyt jo uusinnan  ”alkujärkytyksen” jälkeen koettu hyödyllisenä: antaa suunnatun kehittämisimpulssin, aikatauluttaa ja jäntevöittää kehittämistyötä, on hyvä väline korkeakoulun johdolle  voidaan nähdä myös mahdollisuutena saavuttaa keskinkertaisen asemesta erityisen hyvä taso  neuvottelumahdollisuus kehittämissuunnitelmasta koettu hyvänä

Korkeakoulujen arviointineuvosto — Rådet för utvärdering av högskolorna — The Finnish Higher Education Evaluation Council (FINHEEC) 1/7/14 Riitta Pyykkö 11 Entä seuraava kierros? 1. = KKA:n tekemä toisen kierroksen auditointi  KKA aloittaa vuonna 2009 mallin kehittämisen  kuten 1. kierroksella, voidaan organisoida kansallisena tai kansainvälisenä (lisääntyykö kansainvälisten valinta?)  todennäköisesti kevyempi: kohdistuu 1. kierroksen suositusten täytäntöönpanoon ja mahdollisesti joihinkin ajankohtaisiin teemoihin 2. = koko korkeakoulun kattava, jonkun muun tekemä  eurooppalainen rekisteri mahdollistaa arvioinnin tilaamisen myös muualta (ja KKA:n tekemät muiden maiden arvioinnit)  OPM asettanee kuitenkin joitakin edellytyksiä malleille, jotta voi varmistaa vertailukelpoisen tiedon saamisen 3. = kansainvälinen alakohtainen arviointi  kansainväliset alakohtaiset akkreditoinnit/arvioinnit (esimerkiksi EQIS, CEMS)  kirjastoalalla olemassa ainakin Helicon library accreditation framework (lääketieteellisille kirjasoille, UK), myös Yhdysvalloissa on tehty yliopistokirjastojen akkreditointia  eivät luultavasti korvaa jatkossakaan kokonaisarviointia (vrt. 1. kierros esimerkiksi HSE) Kaikki vaihtoehdot maksullisia korkeakouluille

Korkeakoulujen arviointineuvosto — Rådet för utvärdering av högskolorna — The Finnish Higher Education Evaluation Council (FINHEEC) 1/7/14 Riitta Pyykkö 12 Kansainvälisen arvioinnin pohdiskelua  antaa mahdollisuuden laadun kansainväliseen vertailuun  ”leimalla” voi olla merkitystä kansainvälisessä markkinoinnissa  opiskelijoiden ja työvoiman liikkuvuus edellyttää luottamusta toisten korkeakoulujen laatuun niin kansallisesti kuin kansainvälisesti > kansainväliset arvioinnit luottamusta rakentamassa  kansallinen vertailtavuus ehkä heikompi  istuuko kansalliseen (ja korkeakoulutasoiseen) kontekstiin? (esimerkiksi vastuunjakoon korkeakoulujen, ministeriöiden ja laadunvarmistusorganisaatioiden kesken tai kansalliseen kk-traditioon ja -kulttuuriin)  rankingit ja laatuleimat: ”kukaan niistä ei pidä, mutta kaikki niitä lukevat”  kaikki mallit edellyttävät jatkossakin henkilöstön ja opiskelijoiden koulutusta, jotta päästäisiin todelliseen laatukulttuuriin  laadun arviointien tulee olla kirjoitettuja niin että myös suuri yleisö ymmärtää niitä  oltava varuillaan, ettei menetetä perinteisiä akateemisia arvoja: akateemista vapautta, autonomiaa, opetuksen ja koulutuksen korkean laadun tavoittelemista, kriittistä ajattelua  Miten säilyttää tasapaino yhteistyön ja kilpailun kesken (kun resurssit ovat yhä tiukemmassa)?