Interact järjestelmäarkkitehtuuri + vuorovaikutustekniikoista ja evaluoinnista Markku Turunen Tampereen yliopisto Tietojenkäsittelytieteiden laitos Interact - kevätpäivä TaiK, Helsinki, Tampere Unit for Computer Human Interaction

Arkkitehtuurin yleiskaavio NLU NLG DB

Arkkitehtuuri 1 Jaettu tietämys Kaikki keskeinen informaatio säilytetään yhteisessä tietovarastossa kaikki järjestelmän komponentit voivat hyödyntää toisten komponenttien tuottamaa tietoa – keskeinen asia adaptiivisissa järjestelmissä (adaptiivisuus järjestelmän tasolla, ei pelkästään kokoelma adaptiivisia komponentteja) esitysmuodolla on keskeinen merkitys, jotta tietoa saadaan hyödynnettyä => yhteisiä esitysmuotoja (esim. Annotation Graphs)

Arkkitehtuuri 2 Agentit, evaluaattorit ja managerit agentit hoitavat erilaisia vuorovaikutustilanteita toteuttamalla vuorovaikutustekniikoita evaluaattorit valitsevat kuhunkin tilanteeseen parhaiten soveltuvimmat agentit managerit hoitavat koordinoinnin tarjoaa joustavan pohjan hajautettuihin järjestelmiin, uudelleenkäytettäviin komponentteihin ja adaptiivisiin vuorovaikutusratkaisuihin

Vuorovaikutuskomponentit

Interact arkkitehtuuri Interactin pohjana on arkkitehtuuri - yleinen puhesovellusten arkkitehtuuri - suunniteltu erityisesti adaptiviisiin sovelluksiin - vapaasti saatavilla - Java + XML ja - kehityskulku - moduuleista on siirretty osittain agentteihin - joitakin evaluaattoreita - jaettu tietämys (tietovarasto) ja osittain yhteinen esitysmuoto (AG) - hajautettu prosessointi usealla koneella -kolmannen vuoden keskeinen asia: ”dialoginhallinnan” ja ”vuorovaikutustekniikoiden” integroiminen toimiviksi vuorovaikutusagenteiksi evaluoinnin pohjalta

Tekninen arkkitehtuuri Puheteknologian integrointi järjestelmään Useita suomenkielisiä puheentunnistimia kokeiltu, XML pohjainen palvelinarkkitehtuuri, Annotation Graph esitysmuoto koko järjestelmässä Usean tunnistimen (erilaisen tunnistinkomponentin, kieliopin, sanaston) hyödyntäminen Puhentunnistukseen liittyvien apukomponenttien lisääminen (VAD), laajennettu JSML synteesinohjaus, SuoPuhe projektin synteesiä testattu

Vuorovaikutustekniikat Kohti monipuolista vuorovaikutusta Kehitetyssä järjestelmässä on vahvat pohjaratkaisut kaikilla osa-alueilla => hyvä lähtökohta monipuolisen ja joustavan vuorovaikutuksen luomiseksi Paljon kiinnostavia vuorovaikutukseen liittyviä kysymyksiä: virheiden hallinta, miellyttävät ja ymmärrettävät puhetulosteet jne. Vuorovaikutustason ratkaisujen kehittämiseen tarvitaan käyttökokemuksia

Evaluointi Järjestelmän evaluointi ja kehittäminen Järjestelmästä olemassa toiminnallinen prototyyppi, jonka käytettävyyttä evaluoidaan erilaisilla menetelmillä kesän ja syksyn aikana Sekä aitoa järjestelmän käyttöä kenttäkokeilla että yksittäisten osa-alueiden ”laboratorio”-testejä vuorovaikutustekniikoiden iteratiivinen kehittäminen käyttäjätestien tulosten pohjalta datan kerääminen järjestelmän eri komponenttien kehittämiseksi (oppivat menetelmät, tunnistus)

Tampere Unit for Computer Human Interaction Department of Computer and Information Sciences