12/12/2002Interact päätösdemo Kohti luonnollisempaa ihmisen ja koneen välistä vuorovaikutusta Interact päätösdemo 12/12 2002.

Esitys aiheesta: "12/12/2002Interact päätösdemo Kohti luonnollisempaa ihmisen ja koneen välistä vuorovaikutusta Interact päätösdemo 12/12 2002."— Esityksen transkriptio:

1 12/12/2002Interact päätösdemo Kohti luonnollisempaa ihmisen ja koneen välistä vuorovaikutusta Interact päätösdemo 12/12 2002

2 12/12/2002Interact päätösdemo 13.30 Tervetuloa 13.35 Kristiina Jokinen: Interact-projekti 13.50 Markku Turunen: Arkkitehtuuri ja käyttäjätestit 14.00 Lauri Carlson ja Tommi Jauhiainen: Luonnollisen kielen prosessointi sekä korpusannotointi 14.10 Antti Kerminen: Dialoginhallinta 14.20 Kevin Hynnä ja Topi Hurtig: Interact-projektin laajennuksia: Activation-Based Recurrent Self- Organizing Map sekä Puhuva kartta 14.30 Kahvi 15.00 Demoesitykset (kysy ja kokeile) 15.45 Päätöskeskustelu

3 12/12/2002Interact päätösdemo Interact-projekti Kristiina Jokinen Taideteollinen korkeakoulu Medialaboratorio

4 12/12/2002Interact päätösdemo Projektin konsortium •Tutkimusosapuolet: –Taideteollinen korkeakoulu, Media Lab (koordinoija) –Helsingin yliopisto, Kieliteknologian laitos –Tampereen yliopisto, TAUCHI-yksikkö –Helsingin teknillinen korkeakoulu, neuroverkkojen tutkimusyksikkö •Tukijaosapuolet: Koko projektin ajan –Arlainstituutti –Fujitsu Invia oyj –Kuurojen Liitto ry –Lingsoft oy –Tecnomen oyj –TEKES Osan projektia –Gurusoft oy –Sonera oyj –Tampereen teknologiakeskus

5 12/12/2002Interact päätösdemo Mitä? – Interact päämäärät •Suomenkielisen dialogijärjestelmän prototyyppiversion toteuttaminen •Luonnollisen puhutun kielen käyttö vuorovaikutustilanteissa •Adaptiivisten menetelmien soveltaminen

6 12/12/2002Interact päätösdemo Kuka? – Interact asiantuntijuus •Agenttipohjainen arkkitehtuuri (TAY) –Jaspis-kehitysympäristö –Käyttäjätestit •Kieliteknologia (HY) –Teksti- ja puhesyötös –Suomen kieli ja monikielisyys (viittomakieli) •Topiikin tunnistus (TKK) –Itseorganisoituvat kartat •Keskustelullisuus (TAIK) –Vuorovaikutusmallin kehittäminen –Adaptiivisuus

7 12/12/2002Interact päätösdemo Interactin eteneminen 5/0012/015/02 Alku 1. integroitu järjestelmä 1. demo- järjestelmä Loppu- demo 2000 2001 5/01 2002 2003 Hello world! 7/02 SIGDial, Philadelphia 12/02 USIX päivä 1/03 USIX loppu- seminaari Tulevaisuus- työpaja Kahdenkeskinen projekti Fujitsu Invian kanssa 10/00 Nodalida

8 12/12/2002Interact päätösdemo Interactin tulokset 1/5 •Toimiva puhekielinen dialogijärjestelmä: HKL:n bussiaikatauluneuvonta – Luonnollisen kielen syötteet ja tulosteet (puhe ja teksti) – Joustava arkkitehtuuri ja järjestelmäalusta – Dialoginhallinta erillään tehtävänhallinnasta – Adaptiiviset menetelmät – Multimodaalisuuden huomioonottaminen – Alustavat käyttäjätestit

9 12/12/2002Interact päätösdemo Interactin tulokset 2/5 •Kahdenkeskinen projekti Fujitsu Invian kanssa –Reitityspalvelu: asiakkaan kysymyksen (puoli-) automaattinen reititys kysymyksen sisällön perusteella oikealle henkilölle –Helpottaa ja nopeuttaa help deskin työtä Reititin, luokitteluun perustuva Asiakas- kysely Viinit, Iines Väkevät, Hannu Oluet, Kerttu Luokka A: Iines Luokka B: Hannu Luokka C: Kerttu Muut: Iines Valitukset jne.

10 12/12/2002Interact päätösdemo Interactin tulokset 3/5 •120 dialogia käsittävä dialogikorpus – aidot keskustelut HKL:n neuvontapalvelun ja asiakkaiden välillä (tunnistetiedot poistettu) •Dialogikorpuksen annotaatiotyökalut – puheen transkriptio, analysointi, visualisointi

11 12/12/2002Interact päätösdemo Interactin tulokset 4/5 •Adaptiivisten menetelmien käyttö – WEBSOM-menetelmä – ARSOM-menetelmä – LVQ-menetelmä – Palauteoppimismenetelmä •Eri käyttäjäryhmien huomioonottaminen – Multimodaalisuus – Viittomakielinen helppi

12 12/12/2002Interact päätösdemo Interactin tulokset 5/5 •Tietotaito –agenttiarkkitehtuurin edelleen kehittäminen –dialoginhallinnan realisoiminen –suomenkielen puheentunnistuksen edistäminen –adaptiivisten menetelmien kehittäminen –korpusten keräys ja käsittely –puhekäyttöliittymien vuorovaikutteisuus •Yhteistyö neljän yliopiston kanssa

13 12/12/2002Interact päätösdemo Interactin julkaisut 1/2 Yleisesitykset Jokinen, K., A. Kerminen, M. Kaipainen, T. Jauhiainen, G. Wilcock, M. Turunen, J. Hakulinen, J. Kuusisto and K. Lagus (2002). Adaptive Dialogue Systems -- Interaction with Interact. Proc of the 3rd SIGDial Workshop on Discourse and Dialogue, Phildadelphia, US. Jokinen, K. (2001). Interact project. Elsnews 10.2:10 Arkkitehtuuri Markku Turunen and Jaakko Hakulinen. Agent-based Adaptive Interaction and Dialogue Management Architecture for Speech Applications. In Text, Speech and Dialogue. Proceedings of the Fourth International Conference TSD 2001 : 357-364. Turunen, Markku and Jaakko Hakulinen (2001). Agent-based Error Handling in Spoken Dialogue Systems. Eurospeech, Denmark. Luonnollisen kielen prosessointi Jauhiainen, Tommi (2001). Using existing written language analyzers in understanding natural spoken Finnish. In Proc of Nodalida '01, Uppsala, Sweden. Jokinen, K. and G. Wilcock (2001): Confidence-based Adaptivity in Response Generation for a Spoken Dialogue System. Proc of the 2nd SIGDial Workshop on Discourse and Dialogue, Denmark.

14 12/12/2002Interact päätösdemo Interactin julkaisut 2/2 Adaptiiviset menetelmät Bingham, E. J. Kuusisto and K. Lagus (2002). ICA and SOM in text document analysis. Proc of the 25th ACM SIGIR Conference on Research and Development in Information Retrieval, Tampere, Finland. Jokinen, K., T. Hurtig, K. Hynnä, K. Kanto, M. Kaipainen, and A. Kerminen (2001). Self-Organizing Dialogue Management. Proc of the 2nd Workshop on Neural Networks and Natural Language Processing, Natural Language Pacific Rim Symposium (NLPRS), Japan. Kaipainen, M., K. Jokinen, T. Koskenniemi and A. Kerminen (2001). Clustering dialogue knowledge with self-organising maps. In Proc of Nodalida '01, Uppsala, Sweden. Lagus, K. and J. Kuusisto (2002). Topic identification in natural language dialogues using neural networks. Proc of the 3rd SIGDial Workshop on Discourse and Dialogue, Philadelphia, US.

15 12/12/2002Interact päätösdemo Yhteinen Tietovarasto ASR Kielen ymmärrys Topiikin tunnistus Dialogin hallinta Tehtävän hallinta SS Kielen tuottaminen HKL data Interaction manager Arabiasta keskustaan pääsee busseilla 68, 71, 71S, 73b... Demojärjestelmä

16 12/12/2002Interact päätösdemo Arkkitehtuuri ja käyttäjätestit Markku Turunen Tampereen yliopisto TAUCHI-yksikkö

17 12/12/2002Interact päätösdemo Arkkitehtuurin yleiskaavio

18 12/12/2002Interact päätösdemo Jaettu tietämys •Kaikki keskeinen informaatio säilytetään yhteisessä tietovarastossa => yhteinen tietämys parametrien välityksen sijaan •kaikki järjestelmän komponentit voivat hyödyntää toisten komponenttien tuottamaa tietoa – keskeinen asia adaptiivisissa järjestelmissä (adaptiivisuus järjestelmän tasolla, ei pelkästään kokoelma adaptiivisia komponentteja) •esitysmuodolla on keskeinen merkitys, jotta tietoa saadaan hyödynnettyä => yhteisiä esitysmuotoja (esim. Annotation Graphs)

19 12/12/2002Interact päätösdemo Agentit, evaluaattorit ja managerit •agentit hoitavat erilaisia vuorovaikutustilanteita toteuttamalla vuorovaikutustekniikoita •evaluaattorit valitsevat kuhunkin tilanteeseen parhaiten soveltuvimmat agentit •managerit hoitavat koordinoinnin •tarjoaa joustavan pohjan hajautettuihin järjestelmiin, uudelleenkäytettäviin komponentteihin ja adaptiivisiin vuorovaikutusratkaisuihin

20 12/12/2002Interact päätösdemo Vuorovaikutuskomponentit

21 12/12/2002Interact päätösdemo Tekninen arkkitehtuuri •input/output: puhelinliittymä (Dialogic), mikrofoni, VAD (voice activity detector), tunnistinrajapinnat (Lingsoft, Philips), teksti, SMS, GUI, video •kommunikaatio: XML-RPC, sockets, funktiokutsut •hajautus: mahdollista kaikkien komponenttien osalta •tiedon esittäminen: XML-pohjainen perusratkaisu, tämän pohjalta käytetty standardeja esityskieliä: JSML (synteesi), Annotation Graphs (tunnistustulokset, muu lingvistinen informaatio)

22 12/12/2002Interact päätösdemo Käyttäjätestit •järjestelmää testattiin koekäyttäjillä laboratoriossa kesän 2002 aikana •tehtäväpohjainen lähestymistapa •iteratiivinen (8) kehitys, järjestelmää muutettiin jokaisen testikerran välillä löydettyjen ongelmien korjaamiseksi •erityisesti muokattiin tunnistimen kielioppia ja järjestelmän tulosteita •keskeisiä kysymyksiä virheiden hallinta, järjestelmän aloitteellisuus ja tulosteiden muoto

23 12/12/2002Interact päätösdemo Käyttäjätestien havainnot •käyttäjä toimii oletetusti => järjestelmä toimii •käyttäjät olivat usein epätietoisia järjestelmän tilasta, niukat tulosteet yhdessä virheiden kanssa voivat johtaa helposti väärinymmärryksiin •kieli poikkeaa ihmisten välisen keskustelun kielestä •käyttäjät adaptoituvat nopeasti järjestelmään •avustusta ei kuunnella •järjestelmää ei koettu hitaaksi: kognitiivinen kuormitus

24 12/12/2002Interact päätösdemo Käyttäjätestien johtopäätökset •järjestelmän tulosteet tulee olla mahdollisimman informatiivisia, palautetta antavia ja (implisiittisesti) konfirmoivia •myös yksinkertainen ja normaalista puhekielestä poikkeava kieli sallittava: [lähtöpaikka] arabia[sta], [tulopaikka] keskusta[an] •avustuksen oltava kontekstitietoista •järjestelmän on kyettävä ottamaan aloite: joustava malli joka tukee myös täysin järjestelmäaloitteellista vuorovaikutusta

25 12/12/2002Interact päätösdemo Vuorovaikutustekniikat 1/2 •kontekstina Interact -järjestelmä ja Tampereen Bussimies => eri lähestymistapojen testaaminen •luonnollisuus tulosteissa: alustavissa testeissä havaittiin, että noviisikäyttäjät preferoivat personallisia, luonnollisia tulosteita, mutta niillä ei ole merkittävää vaikutusta vuorovaikutukseen (muut seikat keskeisempiä) •joustava aloitteellisuus erilaisia dialogistrategioita käyttävien agenttien pohjalta => kohti täysin säädettävää aloitteellisuutta

26 12/12/2002Interact päätösdemo Vuorovaikutustekniikat 2/2 •eri kielioppien käyttäminen eri tilanteisiin (aloitukset, varmistukset jne.) => suurin hyöty kun aloite järjestelmällä ja erikoistilanteissa (virheidenhallinta) •yhteisten konseptien käyttäminen kielioppien generoinnissa, vastausten tulkinnassa, dialoginhallinnassa ja tulosteiden muodostamisessa => ei konflikteja •puoliautomaattinen kielioppien generointi => täysin automaattinen prosessi ei realistinen

27 12/12/2002Interact päätösdemo Luonnollisen kielen prosessointi sekä korpusannotointi Lauri Carlson ja Tommi Jauhiainen Helsingin yliopisto Kieliteknologia

28 12/12/2002Interact päätösdemo

29 12/12/2002Interact päätösdemo Testeistä ja puheentunnistuksesta •35 keskustelua Praat-tiedostoina. •Vapaa kielioppi vs. rajoitettu kielioppi •Ihmisten keskusteluhalukkuus huomattavasti pienempi kuin ihminen- ihminen dialogeissa •Käyttöohjeiden antaminen puhelimitse hankalaa

30 12/12/2002Interact päätösdemo kone / ihminen •bussi8.0% •lähtee5.0% •koska4.6% •numero3.8% •seuraava3.4% •pääsee2.5% •on1.5% •millä1.5% •milloin1.4% •bussilla1.4% •joo3.4% •on3.2% •niin2.9% •se2.9% •mä2.3% •ja2.3% •tota1.8% •että1.6% •et1.5% •no1.4%

31 12/12/2002Interact päätösdemo ihminen - ihminen •bussi0.3% •lähtee0.2% •koska0.08% •numero0.03% •seuraava0.03%

32 12/12/2002Interact päätösdemo Työn alla •Kielitieteen laitoksen automaattinen informaatiopuhelin •Yhteystiedot, opettajat, vastaanottoajat ja opetus •Järjestelmä pitää aloitteen itsellään •Joka alueelle oma kielioppinsa •Ongelma: taulukoiden esittäminen puheella

33 12/12/2002Interact päätösdemo Dialoginhallinta Antti Kerminen Taideteollinen korkeakoulu Medialaboratorio

34 12/12/2002Interact päätösdemo Hajautettu dialoginhallinta •Syötteen analysointi •Tehtävänhallinta •Päätöksenteko

35 12/12/2002Interact päätösdemo Konstruktiivinen dialogimalli •Dialogi on puhujien välistä yhteistyötä, jossa puhujien tarkoituksena on rakentaa yhteinen keskustelukonteksti tietyn tavoitteen saavuttamiseksi. •Dialogi kuvataan sarjana dialogitiloja: –Dialogiakti: kysymys, vastaus,... •LVQ-luokittelijalla 94%:n tarkkuus (NLPRS-01) –Käsitteet: linja, lähtöaika, tulopaikka,... •Jäsentäjältä, dialogitason analyysillä täydennettynä –Topiikki / fokus •Jäsentäjältä

36 12/12/2002Interact päätösdemo Päätöksenteko •Toiminnot toteutettu agentteina, jotka tietävät kuinka hyvin soveltuvat kuhunkin tilanteeseen •Toiminnot ovat yleisiä, keskusteluntutkimuksesta peräisin

37 12/12/2002Interact päätösdemo Päätöksenteko •Taustalla ajatus palauteoppimisen menetelmillä toteutetusta toimintojen arvioinnista: tilanteet ja toiminnot palautuvat suoraan palauteoppimisen vastaaviin

38 12/12/2002Interact päätösdemo Jatkokehitys •Yleisen sovelluskehyksen kehittäminen dialoginhallintaan •Optimaalisen dialogistrategian oppiminen palauteoppimisella

39 12/12/2002Interact päätösdemo Puhuva kartta Topi Hurtig Taideteollinen korkeakoulu Medialaboratorio

40 12/12/2002Interact päätösdemo Toiminnallisuus • Multimodaalinen karttakäyttöliittymä: – puhesyöte (mikrofoni) – elesyöte (kosketusnäyttö) • Puhesyöte pääosassa • Elesyöte: – 0-2 painallusta – täydentää puhesyötettä

41 12/12/2002Interact päätösdemo Milloin menee seuraava bussi Syöte täältä?tänne

42 12/12/2002Interact päätösdemo Tuloste • Bussi 59 menee Pasilaan kello 14:31.

43 12/12/2002Interact päätösdemo Syötteiden käsittely  Dialoginhallinta muodostaa syötteestä paikka- käsitteitä:  puhesyöte: [miten pääsen tänne täältä]  [paikka2][paikka1]  elesyöte: [paikka1, pasila][paikka2, kulosaari]  Integrointikomponentti yhdistää tarvittaessa syötteet:  lopullinen syöte: [lähtöpaikka: kulosaari] [tulopaikka: pasila]  seuraavien komponenttien ei tarvitse tietää mistä syöte on peräisin.

44 12/12/2002Interact päätösdemo Hyödyt  Puheentunnistimen kuorma kevenee  Käyttäjä ei ole sidottu auditoriseen viestintään eikä näppäimistöön  Kysymyksien luonnollisuus ja nopeus

45 12/12/2002Interact päätösdemo Activation-based Recurrent Self- Organizing Map (ARSOM) : Implementing extensions to the dialogue system based on adaptive methodologies Mauri Kaipainen & Kevin Hynnä Taideteollinen korkeakoulu Medialaboratorio

46 12/12/2002Interact päätösdemo Developmental Lines of Research •Textual Data-Mining using SOM - e.g., WEBSOM - information storage and retrieval •Process Monitoring and Control - industrial applications in, e.g., pulp and paper mills, steel industry - fault detection and monitoring •Recurrent Neural Networks - e.g., Back Propagation - capture temporal patterns

47 12/12/2002Interact päätösdemo Activation-based Recurrent Self- Organizing Map (ARSOM) •captures sequential/temporal patterns and is able to model context effects, outperforming previous attempts to extend the inherently static SOM into the temporal domain •keeps track of the flow of information over the evolution of a dialogue •has a built-in ’look ahead’ mechanism which can serve as the basis of a decision-making engine •adaptive, flexible, not problem domain specific, yet produces robust and systematic behaviour

48 12/12/2002Interact päätösdemo

49 12/12/2002Interact päätösdemo Topiikin tunnistus •Krista Lagus ja Jukka Kuusisto, Teknillinen korkeakoulu •Topiikki = se mistä käyttäjä haluaa puhua •WEBSOM-metodin käyttö –topiikin mukaisesti järjestetty semanttinen avaruus –lausuman topiikki määräytyy topiikkikartalla sinä yksikkönä joka parhaiten vastaa lausumaa •Topiikkitietoa voidaan käyttää –puheentunnistajan ohjaamisessa –dialoginhallinnan päätöksenteossa

50 12/12/2002Interact päätösdemo Demoesitykset Medialaboratorio, 3krs

51 12/12/2002Interact päätösdemo Dialogi 1: bussilinjat •Helsingin automaattinen bussi- aikataulupalvelu. Hyvää päivää. •Hei Tommi täällä. Millä bussilla pääsen Arabiaan? •Mikä lähtöpaikka olikaan kyseessä? •Keskusta. •Arabiasta keskustaan pääsee busseilla 68, 71, 71S, 73b... •Kiitos. •Kiitos. Kuulemiin.

52 12/12/2002Interact päätösdemo Dialogi 2: aikataulut •Helsingin automaattinen bussi-aikataulupalvelu. Hyvää päivää. •Milloin lähtee seuraava bussi Eiraan? •Mikä lähtöpaikka olikaan kyseessä? •Pajamäki. •Seuraava bussi 14 Pajamäestä Eiraan lähtee kello 15.30. •Kiitos hei. •Kiitos. Kuulemiin.

53 12/12/2002Interact päätösdemo Dialogi 3: aihealuemallinnus •Interact-demo. Hyvää päivää. •Mistä voi ostaa opiskelija-alennuslippuja? •Valitettavasti osaan vastata vain aikatauluja koskeviin kysymyksiin. •Miten pääsee Arabiasta Taliin? •Arabiasta Taliin pääsee bussilla 52. •Ok, kiitos. •Kiitos. Kuulemiin.

54 12/12/2002Interact päätösdemo Dialogi 4: esitysagentit •Interact-demo. Hyvää päivää. •Millä bussilla pääsee Meilahteen? •Sinne menee yli 10 bussia. Ensimmäiset viisi: 18, 39, 40, 41, 42. Paina mitä tahansa näppäintä kun haluat lopettaa. • •Kiitos. Kuulemiin.

55 12/12/2002Interact päätösdemo Loppukeskustelu •Johtopäätöksiä •Jatkosuunnitelmia •Hyödyntämisnäkökohtia

56 12/12/2002Interact päätösdemo Innovatiivinen Interact •Suomenkielisen dialogijärjestelmän prototyyppiversion toteuttaminen •Robustisuus eri tasoilla –Hajautettu arkkitehtuuri –Luonnollisella kielellä tapahtuva vuorovaikutus –Dialoginhallinta erillään tehtävänhallinnasta –Adaptiiviset menetelmät •Yhteistyö

57 12/12/2002Interact päätösdemo Miksi Interact? •Tarve interaktiivisille palveluille –digitaalisen tiedon luonnollinen, nopea ja joustava saavutettavuus –rutiinityön vähentäminen (sähköiset palvelut, reititys, tiedonhaku, FAQ) •Vuorovaikutteisuuden lisääminen –vaihtelevat mobiilitilanteet –erilaiset käyttäjien tarpeet •Menetelmien ja ratkaisumallien kehittäminen –ihmisen ja koneen välinen vuorovaikutus –toiminnallisuuden mukauttaminen

58 12/12/2002Interact päätösdemo Hyödyntäminen •Valmis demoversio •Laajemmat käyttäjätestit todellisilla käyttäjillä –Järjestelmän evaluointi ja testaus –Käyttäjien tarpeet –Aineistoa koneoppimismenetelmiä varten •Muut keskustelevat sovellukset –tieto- ja varauspalvelut, reititys, älykäs ympäristö, jne. •Laajennus multimodaaliseen vuorovaikutukseen –puhe, teksti, eleet – mahdolliset muut syöte- ja tulostusmodaliteetit •Dialogikorpuksen analysointi ja annotointi –Puhekielisen keskustelun tutkiminen

59 12/12/2002Interact päätösdemo Jatkotutkimus- ja kehitystyö •Järjestelmäalusta ja komponenttien vuorovaikutustekniikat –agenttien ja evaluaattorien työnjako, koordinaatio ja kontrolli •Adaptiivisten menetelmien kehittäminen –soveltaminen eri komponenteissa, testaus oikeassa järjestelmässä •Erilaisten vuorovaikutusstrategioiden tutkiminen –konfirmointi, tiedon esitystapa •Virhetilanteiden robusti hallinta –kontekstin hyväksikäyttö •Käsitetiedon (ontologian) hyväksikäyttö –merkityksen syntyminen •Puheteknologian kehitys –luonnollisempi tunnistus ja tuotto