Sähköinen tenttijärjestelmä Suomen korkeakouluille Salla Kalermo JY Sari Koski-Kotiranta HY Anni Rytkönen HY Totti Tuhkanen TY

! MIKSI RYHDYTTIIN KEHITYSTÖIHIN? Sähköinen prosessi vähentää askartelua! Opettajat, opiskelijat ja opintohallinto hyötyvät sähköisen tenttiprosessin nopeudesta ja vakiomuotoisuudesta; samalla korkeakoulun ajan- ja tilankäyttö tehostuvat ja tenttien saavutettavuus paranee. 1 2 3 4 5 6 7 8 WANHA paperi- PROSESSI ! 1 2 5 3 7 4 8 UUSI sähköinen PROSESSI

Kehitystarpeisiin taipuva teknologia ja itse omistettu koodi Tenttijärjestelmän toteutukselle asetettuja vaatimuksia: Parempi käyttövarmuus ja -mukavuus kuin nykyisillä tenttijärjestelmillä Kehitystarpeisiin taipuva teknologia ja itse omistettu koodi Liitteitä käyttömahdollisuus tenttikysymyksissä ja -vastauksissa Apuohjelmien ja piirtopöydän käyttömahdollisuus tenttivastauksissa Hyvä integroitavuus perusjärjestelmiin Tehokkaat työprosessit: tentin pohjatiedot luetaan perusjärjestelmistä, suoritusten siirto mahdollista suoraan rekisteriin Kysymyskirjaston kysymyksiä voidaan monistaa, versioida ja arpoa Järjestelmän sisäinen viestintä opettaja–opiskelija sekä opettaja–opettaja Tehokas ajan ja tilan hallinta varauskalenterilla Mobiilikäyttö mahdollista tenttiajan varaamisessa ja tulosten tarkastelussa Vakioidut ohjeet akvaariosuunnitteluun sekä tilakuvauksiin Ajantasainen suorittamisen seuranta Tutkimuspohjainen kehitystyö ja best practice -ohjeistus.

Tenttijärjestelmän rakenneosat:

Rakennusvaiheet: Työpaja, jossa mukana runsaasti edustajia 18 yliopistosta ja ammattikorkeakoulusta. Päätettiin aloittaa uuden sähköisen tenttijärjestelmän alustava suunnittelu ja vaatimusmäärittely. 28.8.2013 käynnistettiin uudelle teknologialle pohjautuvan akvaariotenttijärjestelmän valmistelu. Syksyllä 2013 useita tavoite- ja määrittelytyöpajoja sekä kehittämisympäristön määrittely 2.1.-22.10.2014 EXAM-tenttijärjestelmän toteutus 16 sprintin SCRUM-hankkeena 22.10.2014 EXAM 1:n julkistus. 30.1. 2013 28.8. 2013 2.1. 2014 22.10 2014 Vaatimus- määrittelijänä prory Teknisenä toteuttajana CSC/Arcusys

MISSÄ MENNÄÄN NYT? 1-vaihe ohi: perusjärjestelmä olemassa 1.1-vaihe meneillään: hienosäätöä, lisäystä Asiakkailla selvä visio tarvittavasta järjestelmästä, jonka tehtävä yksinkertaistaa kompleksista opintohallinnollista prosessia Asiakkaita monta – 1.1-vaiheesta eteenpäin organisoituminen sen mukaan, kokemuksista oppien

MITEN JATKETAAN ? Jatkovaiheiden organisoituminen: Johtoryhmä (1/korkeakoulu: raha & sopimus) Kehittäjäryhmä (1/korkeakoulu: kehityssuunta, päätökset) Tuoteomistajaryhmä (3-4 kehittäjäryhmästä: toimeenpano) Projektipäällikkö (CSC) Kehittäjät (Arcusys) Kehityssyklit Sykli 3–4 kk: hallittu työmäärä & rajatut tavoitteet Osittain vaihtuvalla TO-ryhmällä Työmäärän tasaus Osaamisalueet Ohjausryhmä määrittelee & priorisoi tavoitteet + testaa & hyväksyy

HELSINGIN YLIOPISTON NÄKÖKULMA: Tenttiakvaariotoiminta osana sähköistä tenttimistä http://blogs.helsinki.fi/signaali-blogi/2014/04/29/sahkoinen-tenttiminen/

TENTTIAKVAARIOTOIMINTA HELSINGIN YLIOPISTOSSA Yli 10 vuoden käyttökokemukset pienessä mittakaavassa Tavoitteena skaalautuva tenttiprosessi ilman sisältyvää henkilötyöpanosta (vahtimestari, kirjastovirkailija tms) Sujuva, säädettävä & säätyvä, pidetty: Opiskelijat: lisää laatua ja hyvinvointia Opettajat: helppokäyttöinen, tehostaa arviointia ja lisää palautteen antamista Opintohallinto: odottaa hartaasti integraatiota! Tukihenkilöstö: vähäisesti kuormittava

ODOTUKSIA TOIMINNAN LAAJENTAMISELLE Lisää tenttiakvaariotenttejä käyttäviä opettajia, jotka toivottavasti myöhemmin siirtyvät muihinkin sähköisen tenttimisen muotoihin (”sisäänheitto”) Lisää opintojen laatua vähentämällä stressiä ja helpottamalla opintojaksojen suoritusta ajallisen jouston kautta, vaikkei välttämättä nopeuta valmistumista Vähentää tenttikirjojen jonoja Vähentää opintohallinnolta suoritusten rekisteröintiin kuluvaa aikaa Kehittää tenttimistä myös pedagogisesti opettajien miettiessä mielekkäitä, tasalaatuisia tenttikysymyksiä ja kannustaessa opettajia miettimään opetustaan

Toimintaprosesseihin yhteiset peruskäytännöt (1/2)   Erilaiset lähtökohdat sähköiseen tenttimiseen: – eri järjestelmiä käytössä – tenttiakvaarioita sähköisillä tenteillä ja paperitenteillä – etätenttejä – eri kokoisia oppilaitoksia ja tenttitiloja. Uuden järjestelmän osalta oltava pitkälti yhtenäiset käytännöt – Yhteinen sanasto – Erilaiset tenttityypit – Tentin tarkastusprosessit. Joitakin instanssikohtaisesti määriteltäviä parametreja esim. – käyttösäännöt ja tentin maksimitarkastusaika – tenttien sallitut kestot – tenttitilat ja tenttikoneet.

Toimintaprosesseihin yhteiset peruskäytännöt (2/2)   Projektiryhmässä kartoitettu mitä käytäntöjä missäkin on Pyritään poimimaan EXAMiin parhaat käytännöt niiltä osin, kuin ratkaisut ovat sovelluksesta riippuvaisia Keskusteluja sekä sovelluksesta riippuvista asioista, kuten – kysymystyypit – kysymysarvonnan toteuttaminen – kirjatenttien syöttäminen järjestelmään että sovelluksesta riippumattomista asioista, kuten – sermien korkeudet tenttitilassa – videovalvonta – esteettömyyskriteerit, joiden pohjalta tenttitilan kuvaustieto annetaan. Käytäntöjen vertailua: JY:ssä esim. harkitaan, voisiko opiskelijalta jättää tenttitilan avaimen noudon kokonaan pois – ovi auki -malli toimii Helsingin yliopistossa.

EXAMin käytettävyysarviointimalli   Ensimmäinen kierros tehty 05/2014 Asiantuntija-arviointi: – TTY:n WeSQu-työkalu, josta poimittiin 175 arviointikriteeriä – Arvioijina Salla Kalermo (JY) ja Pasi Häkkinen (TTY) – Lisäksi heuristinen arviointi Oulun yliopiston käytettävyyskurssin opiskelijoilta Käytettävyystestaus: – Toteutettiin samalla sabluunalla Jyväskylän ja Oulun yliopistoissa – Yhteensä 9 tentaattoria koehenkilöinä – Yksi henkilö kerrallaan testattavana – Viisi tehtävää, jotka annettiin yksi kerrallaan – Testaajan havaintojen perusteella kirjattiin ylös ongelmat sekä kehitysehdotukset.

Käytettävyysarviointien vaikutus kehitystyöhön   Asiantuntija-arvioinnin perusteella – havaittiin puutteita erityisesti järjestelmän yhtenäisyydessä ja saavutettavuudessa sekä virheiden estämisessä ja virheilmoituksissa Käytettävyystestauksen perusteella – Kirjattiin kehittäjille nelisenkymmentä tehtävää sekä toimintoihin että käyttöliittymään liittyen Examin 1. versioon korjattu osa, pääfokus oli toimintojen valmiiksi saamisessa, käytettävyyskorjauksia tehdään versioon 1.1 Toinen arviointi tehdään marraskuussa 2014 (sis. opiskelijatestausta)

Standilla Demo ja kuvankaappausvideo, Verkossa kuvankaappausvideo   Tentaattori Tentin luonti + perustiedot Aihealueen lisääminen + kysymysten lisääminen sekä suoraan tenttiin että tenttikirjastosta Arvonnan laittaminen Ilmoittautumislinkin jakaminen opiskelijalle Opiskelija Tenttiin ilmoittautuminen opettajalta saadulla linkillä + ajan varaus Tenttiin vastaaminen Tentin arviointi Tentin arvioinnin lukeminen sovelluksesta

KONSORTIO Konsortion on perustettu, koska korkeakouluilla on yhteinen tarve tarjota korkeakoululle kustannustehokas sähköinen tenttityökalu. Perustajajäsenet: HAAGA-HELIA ammattikorkeakoulu Helsingin yliopisto Itä-Suomen yliopisto Jyväskylän yliopisto Lappeenrannan teknillinen yliopisto Oulun yliopisto Svenska Handelshögskolan Tampereen teknillinen yliopisto Tampereen yliopisto Turun yliopisto

Miksi kannattaa liittyä konsortioon ? Version 1.0 voi ottaa käyttöön heti Voi osallistua jatkokehitykseen Laaja kehittämisyhteisö Hyvien käytänteiden jakaminen, välineet, tilasuunnittelu, arviointiprosessit – Entäs jos ei liity? – Lähdekoodi on avointa 18 kk kuluttua version julkaisusta

Konsortio on avoin uusille jäsenille! Liittymismaksu: kertaluonteinen Vuosimaksu: perusosa kaikille sama, kehittämistarve määritetään vuosittain yhdessä ja kustannukset jaetaan suhteessa opiskelijamäärään. Lisää tietoa EXAMin standilla nro 21 (2.krs), tulkaa tutustumaan järjestelmään ja esittämään kysymyksiä! http://51.fi/EXAM Johtoryhmän pj (2014): Sari Koski-Kotiranta, HY (@helsinki.fi)