Sähköinen tenttipalvelu Suomen korkeakouluille Salla Kalermo JY Sari Koski-Kotiranta HY Anni Rytkönen HY Totti Tuhkanen TY

! – AJANKOHTAINEN JUURI NYT 1 2 3 4 5 6 7 8 1 2=5 3=7 4=8 Kaikilla korkeakouluilla on tarve kehittää opintopolkujaan joustaviksi ja lisätä suoritustarjonnan monimuotoisuutta. Opettajat, opiskelijat ja hallinto hyötyvät tentin valmisteluprosessien vakioinnista; samalla ajan- ja tilankäyttö tehostuvat ja tenttipalvelun saavutettavuus paranee. Käytössä olevat tenttiakvaariot ovat teknologialtaan vanhakantaisia ja niissä on vakaus- ja tietoturvaongelmia. 1 2 3 4 5 6 7 8 WANHA paperi- PROSESSI ! 1 2=5 3=7 4=8 UUSI sähköinen PROSESSI

Tenttijärjestelmän toteutukselle asetettuja vaatimuksia: Intuitiivinen käyttöliittymä – laaja perinteisen tentin korvaava käyttö mahdollista. Parempi käyttövarmuus ja käyttömukavuus kuin nykyisillä järjestelmillä. Uuden ohjelmistoteknologian tuki monimuotoisille tehtäville. Liitteiden tuki tenttikysymyksissä ja vastauksissa. Apuohjelmien ja piirtopöydän tuki. Hyvä integroitavuus perusjärjestelmiin ja kansalliseen infraan (HAKA, VIRTA, kansallinen tietomalli). Pohjatiedot luettavissa tenteille perusjärjestelmistä, suoritusten siirto suoraan rekisteriin. Tenttien hyvä jaettavuus, kehitettävyys ja kysymysten satunnaistettavuus. Mobiilikäytön tuki – aluksi ilmoittautumisissa ja tulosten tarkastelussa. Selkeästi määritellyt käyttäjäroolit – mm. tarkastustyön hallittu jaettavuus. Maksimaalinen saavutettavuus ja tehokas ajanhallinta (jopa 24/7 + yhteiskäyttö). Yhteiset ohjeet akvaariosuunnitteluun sekä tila- ja esteettömyyskuvauksiin. Monikielisyyden tuki. Järjestelmän sisäinen viestintä opettaja-opiskelija sekä opettaja1-opettaja2. Seurantatiedon ja raporttien generointi, ajantasainen suorittamisen seuranta. Tutkimuspohjainen kehitystyö ja best practice -ohjeistus; määritystyötä tuettiin tutkimuksilla ja kartoituksilla ajankäytöstä, käyttökokemuksista ja kustannusvaikutuksista

Tenttijärjestelmän rakenneosat: Opiskelijan käyttöliittymä Varauskalenterin selailu Omien tenttivarausten selailu Tenttiin ilmoittautuminen Tenttivarauksen peruuttaminen Tenttiin kirjautuminen ja tentin suorittaminen Tulosten ja palautteen tarkastelu Admin käyttöliittymä Varauskalenterin ylläpito Tila- ja konetietojen ylläpito Kysymysten importtaus Tenttiperiodien hallinta Käyttäjien tuonti ja poisto Raporttien hallinta Kieliversioiden ylläpito Opettajan käyttöliittymä Tenttitarjonnan selailu Tenttien ja kansioiden hallinta Tenttien arvostelu Roolien ja työnjako ja info Tulosten ja palautteen hallinta Viestien ja listausten käsittely Raporttien käsittely Ajan ja tilan hallinta: Varauskalenteri työpisteiden varaus yksittäin ja aikajaksolle tentin keston hallinta tenttikoneiden profiilitiedot Esteettömyystiedot Tilaohjeet, tenttisäännöt Tukihenkilö- ja avustajatiedot Tentin hallinta Tenttieditori Kysymyseditori Vastauseditori Viketit Lisäohjelmien tuki Kysymys- ja vastausliitteiden tuki Kysymyskirjasto Suoritustietokanta Tehtävien ja roolien hallinta OHA-järjestelmä Opetustarjotatieto Examiin Suoritustieto Examista REST-rajapinta Json ja csv -muotoiset tiedonsiirrot Käyttäjähallinta: HAKA-kirjautuminen Primaari roolitieto FunetEduPerson

Rakennusvaiheet: Työpaja, jossa mukana 31 edustajaa 18 korkeakoulusta. Päätettiin: 1) tuottaa laajasti käytetylle Tenttikselle tietoturva-auditointi ja sen vaatimusten mukainen päivitys. Tenttiksen keskitetty ylläpito Tampereen yliopistolta CSC:lle; 2) aloittaa uuden sähköisen tenttijärjestelmän alustava suunnittelu ja vaatimusmäärittely. 28.8.2013 käynnistetään uudelle teknologialle pohjautuvan akvaariotenttijärjestelmän valmistelu. CSC ehdottaa ketterää 4 kk:n vaatimusmäärittelyhanketta. 10.9. Uuden e-tentin tavoitetyöpaja. 20.9. , 15.-16.10. Käyttäjätarinatyöpajat. 1.11. Projektisuunnitelma 1.0, priorisoidut käyttötapaukset sekä hankesitoumukset. 22.11. Teknologiakartoitus. 1.12. Kehittämisympäristö ja toteutusvälineet määritelty 2.1.-8.10.2014 EXAM-tenttijärjestelmä tuotetaan 16 sprintin SCRUM-hankkeena 8.10.2014 EXAM 1:n julkistus. 30.1. 2013 28.8. 2013 2.1. 2014 Teknisenä määrittelijänä pory Teknisenä toteuttajana CSC/Arcusys 8.10. 2014

Missä mennään? 1-vaihe ohi: perusjärjestelmä olemassa 2-vaihe meneillään: hienosäätöä, lisäystä Asiakkailla selvä visio tarvittavasta järjestelmästä, jonka tehtävä yksinkertaistaa kompleksista opintohallinnollista prosessia Asiakkaita monta – 2-vaiheesta eteenpäin organisoituminen sen mukaan, kokemuksista oppien

TEHTÄVÄNANTO 1 Käyttäjätarinat, vaatimusmäärittely   – Toiminnallisuudet, tarpeiden tunnistaminen ja priorisointi   – Odotusten hallinta 1., 2. ja 3. tuotantoversion osalta. (Anni 4)

MITEN JATKETAAN ? Jatkovaiheiden organisoituminen: – Johtoryhmä (1/kk: raha & sopimus) – Ohjausryhmä (1/kk: kehityssuunta, päätökset) – Projektinomistajaryhmä (3-4: toimeenpano) – Projektipäällikkö (CSC) – Kehittäjät (Arcusys)

KEHITYSSYKLIT Sykli 3–4 kk: hallittu työmäärä & rajatut tavoitteet Osittain vaihtuvalla PO-ryhmällä – Työmäärän tasaus – Osaamisalueet Ohjausryhmä määrittelee & priorisoi tavoitteet + testaa & hyväksyy

TEHTÄVÄNANTO 2 Seurantakokemuksia miten sähköinen tentti toimii, miten se kuormittaa ja mitä siltä odotetaan, erit. HY

Tenttiakvaariotoiminta osana sähköistä tenttimistä HY:ssä http://blogs.helsinki.fi/signaali-blogi/2014/04/29/sahkoinen-tenttiminen/

TENTTIAKVAARIOTOIMINTA HELSINGIN YLIOPISTOSSA Yli 10 vuoden käyttökokemukset pienessä mittakaavassa Tavoitteena skaalautuva tenttiprosessi ilman sisältyvää henkilötyöpanosta (vahtimestari, kirjastovirkailija tms) Sujuva, säädettävä & säätyvä, pidetty: – Opiskelijat: lisää laatua ja hyvinvointia – Opettajat: helppokäyttöinen, tehostaa arviointia ja lisää palautteen antamista – Opintohallinto: odottaa hartaasti integraatiota! – Tukihenkilöstö: vähäisesti kuormittava

ODOTUKSIA TOIMINNAN LAAJENTAMISELLE Lisää sähköisiä tenttejä käyttäviä opettajia, jotka ehkä myöhemmin siirtyvät muihinkin sähköisen tenttimisen muotoihin (sisäänheitto) Lisää opintojen laatua vähentämällä stressiä ja helpottamalla opintojaksojen suoritusta ajallisen jouston kautta, vaikkei välttämättä nopeuta valmistumista Vähentää tenttikirjojen jonoja Vähentää opintohallinnolta suoritusten rekisteröintiin kuluvaa aikaa Kehittää tenttimistä myös pedagogisesti opettajien miettiessä mielekkäitä, tasalaatuisia tenttikysymyksiä ja kannustaessa opettajia miettimään opetustaan

Toimintaprosesseihin yhteiset peruskäytännöt (1/2)   Erilaiset lähtökohdat sähköiseen tenttimiseen: – eri järjestelmiä käytössä – tenttiakvaarioita sähköisillä tenteillä ja paperitenteillä – etätenttejä – eri kokoisia oppilaitoksia ja tenttitiloja Uuden järjestelmän osalta oltava pitkälti yhtenäiset käytännöt – Yhteinen sanasto – Erilaiset tenttityypit – Tentin tarkastusprosessit. Joitakin instanssikohtaisesti määriteltäviä parametreja esim. – käyttösäännöt ja tentin maksimitarkastusaika – tenttien sallitut kestot – tenttitilat ja tenttikoneet.

Toimintaprosesseihin yhteiset peruskäytännöt (2/2)   Projektiryhmässä keskusteltu mitä käytäntöjä missäkin on Pyritään poimimaan EXAMiin parhaat käytännöt niiltä osin, kuin ratkaisut ovat sovelluksesta riippuvaisia Keskusteluja sekä sovelluksesta riippuvista… – kysymystyypit – kysymysarvonnan toteuttaminen – kirjatenttien syöttäminen järjestelmään että riippumattomista asioista – sermien korkeudet tenttitilassa – videovalvonta – esteettömyyskriteerit, joiden pohjalta tenttitilan kuvaustieto annetaan Käytäntöjen vertailua: JY:ssä esim. harkitaan, voisiko opiskelijalta jättää tenttitilan avaimen noudon kokonaan pois – ovi auki -malli toimii Helsingin yliopistossa.

EXAMin käytettävyysarviointimalli   Ensimmäinen kierros tehty 05/2014 Asiantuntija-arviointi: – TTY:n WeSQu-työkalu, josta poimittiin 175 arviointikriteeriä – Arvioijina Salla Kalermo (JY) ja Pasi Häkkinen (TTY) – Lisäksi heuristinen arviointi Oulun yliopiston käytettävyyskurssin opiskelijoilta Käytettävyystestaus: – Toteutettiin samalla sabluunalla Jyväskylän ja Oulun yliopistoissa – Yhteensä 9 tentaattoria koehenkilöinä – Yksi henkilö kerrallaan testattavana – Viisi tehtävää, jotka annettiin yksi kerrallaan – Testaajan havaintojen perusteella kirjattiin ylös ongelmat sekä kehitysehdotukset.

Käytettävyysarviointien vaikutus kehitystyöhön   Asiantuntija-arvioinnin perusteella – havaittiin puutteita erityisesti järjestelmän yhtenäisyydessä ja saavutettavuudessa sekä virheiden estämisessä ja virheilmoituksissa Käytettävyystestauksen perusteella – Kirjattiin kehittäjille nelisenkymmentä tehtävää sekä toimintoihin että käyttöliittymään liittyen Examin 1. versioon korjattu osa, pääfokus oli toimintojen valmiiksi saamisessa, käytettävyyskorjauksia tehdään versioon 1.1 Toinen arviointi tehdään marraskuussa 2014 (sis. opiskelijatestausta)

Screenshot-esitys (runko)   Tentaattori – Tentin luonti + perustiedot – Osion lisääminen + kysymysten lisääminen sekä suoraan tenttiin että tenttikirjastosta – Arvonnan laittaminen Opiskelija – Tenttiin ilmoittautuminen + ajan varaaminen – Tentin tekeminen + palauttaminen – Tentin arviointi – Tentin arvioinnin lukeminen sovelluksesta

KONSORTIO Konsortion on perustettu, koska korkeakouluilla on yhteinen tarve tarjota korkeakoululle kustannustehokas sähköinen tenttityökalu. Perustajajäsenet: HAAGA-HELIA ammattikorkeakoulu Helsingin yliopisto Itä-Suomen yliopisto Jyväskylän yliopisto Lappeenrannan teknillinen yliopisto Oulun yliopisto Svenska Handelshögskolan Tampereen yliopisto Tampereen teknillinen yliopisto Turun yliopisto

Miksi kannattaa liittyä konsortioon ? Versio 1.0 voi ottaa käyttöön heti Voi osallistua jatkokehitykseen Laaja kehittämisyhteisö Hyvien käytänteiden jakaminen, välineet, tilasuunnittelu, arviointiprosessit – Entäs jos ei liity? – Lähdekoodi on avointa 18 kk kuluttua version julkaisusta

Konsortio on avoin uusille jäsenille! Liittymismaksu, kertaluonteinen Vuosimaksu, vuosittain, kaikille sama Kehittämispanokset määritetään yhdessä, kustannukset jaetaan suhteessa opiskelijamäärään – Lisää tietoa EXAMin standilla, tulkaa tutustumaan järjestelmään ja esittämään kysymyksiä!