28/05/02Interact Demo Day Kohti luonnollisempaa ihmisen ja koneen välistä vuorovaikutusta Interact demopäivä 28/5 2002 Interact Projekti.

Esitys aiheesta: "28/05/02Interact Demo Day Kohti luonnollisempaa ihmisen ja koneen välistä vuorovaikutusta Interact demopäivä 28/5 2002 Interact Projekti."— Esityksen transkriptio:

1 28/05/02Interact Demo Day Kohti luonnollisempaa ihmisen ja koneen välistä vuorovaikutusta Interact demopäivä 28/5 2002 Interact Projekti

2 28/5/02Interact Demo Day Projektin konsortium • Tutkimusosapuolet: – Taideteollinen korkeakoulu, Media Lab (koordinoija) – Helsingin yliopisto, Kieliteknologian laitos – Tampereen yliopisto, TAUCHI-yksikkö – Helsingin teknillinen korkeakoulu, neuroverkkojen tutkimusyksikkö • Tukijaosapuolet: – Arlainstituutti – Gurusoft oy – ICL Invia oyj – Kuurojen Liitto ry – Lingsoft oy – Tecnomen oyj – TEKES

3 Interactin päämäärä Kehittää menetelmiä ja ratkaisuja luonnollisella kielellä tapahtuviin ihmisen ja koneen välisiin vuorovaikutustilanteisiin 28/5/02Interact Demo Day

4 Innovatiivinen Interact Kielellisen vuoro- vaikutuksen malli Adaptiivisten menetelmien testaus ja vertailu Suomenkielisen dialogisysteemin prototyyppiversion toteuttaminen 28/5/02Interact Demo Day

5 28/5/02Interact Demo Day Miksi luonnollisempaa vuorovaikutusta Tiedon saavutettavuus nopeasti ja joustavasti Käyttäjien erilaiset näkökulmat ja tarpeet Ihmisen ja koneen välinen kommunikointi muuttumassa

6 Erilaiset käyttötilanteet  Sähköiset palvelut joissa rutiinin- omaista vuorovaikutusta voidaan nopeuttaa (FAQ)  Mobiilikäyttäjät (missä tahansa)  Design for all (kuka tahansa)  Läsnä-äly (mitä tahansa)  => Luonnollinen kieli ja adaptiivisuus tärkeässä asemassa 28/5/02Interact Demo Day

7 28/5/02Interact Demo Day Adaptiivisuus  Agenttipohjainen arkkitehtuuri  Jaspis-kehitysympäristö  Kieliteknologia  Teksti- ja puheviestintä  Suomen kieli ja monikielisyys (viittomakieli)  Topiikin tunnistus  Itseorganisoituvat kartat (SOM)  Keskustelullisuus  Vuorovaikutusmallin kehittäminen, automaattinen oppiminen

8 Interact aikataulu - puheentunnistus osana järjestelmää (Lingsoft, Philips) - aihealuemallinnus - agenttipohjainen dialoginhallinta - tehtävämanageri (haku myös paikannimien kanssa) - järjestelmäalusta ja komponenttien vuorovaikutustekniikat 5/0012/015/02 AlkuUSIX päivät 1. integroitu systeemi 1.demo- systeemi Loppu demo 20002001 5/01 2002 2003 28/5/02Interact Demo Day Hello world! 7/02 SIGDial 2/02

9 Sovellusalueet  Demosysteemi:  HKL bussiaikatauluneuvonta  Keskusteleva reititys  Käyttäjän ohjaus oikeaan palveluun  Keskusteleva tietopalvelu  Tiedonhaku 28/5/02Interact Demo Day

10 28/5/02Interact Demo Day Yhteinen Tietovarasto ASR Kielen ymmärrys Topiikin tunnistus Dialogin hallinta Tehtävän hallinta SS Kielen tuottaminen HKL data Interaction manageri

11 Dialogi 1: bussilinjat  Helsingin automaattinen bussi- aikataulupalvelu. Hyvää päivää.  Hei Tommi täällä. Millä bussilla pääsen Arabiaan?  Busseilla 68, 71, 71S, 73b...  Kiitos.  Kiitos. Kuulemiin. 28/5/02Interact Demo Day

12 Dialogi 2: aikataulut  Interact-demo. Hyvää päivää.  Milloin lähtee seuraava bussi Eiraan?  Mikä linja olikaan kyseessä?  Bussi 14.  Kello 15.30.  Kiitos.  Kiitos. Kuulemiin. 28/5/02Interact Demo Day

13 Dialogi 3: aihealuemallinnus  Interact-demo. Hyvää päivää.  Mistä voi ostaa opiskelija-alennuslippuja?  Valitettavasti osaan vastata vain aikatauluja koskeviin kysymyksiin.  Miten pääsee Taliin?  Sinne pääsee busseilla 18, 52, 345.  OK. Kiitos.  Kuulemiin. 28/5/02Interact Demo Day

14 Dialogi 4: esitysagentit  Interact-demo. Hyvää päivää.  Millä bussilla pääsee Meilahteen?  Sinne menee yli 10 bussia. Ensimmäiset viisi: 18, 39, 40, 41, 42. Paina mitä tahansa näppäintä kun haluat lopettaa.   Kiitos. Kuulemiin. 28/5/02Interact Demo Day

15 Demotilaisuus 13.10 Arkkitehtuuri (TAY) 13.25 Luonnollisen kielen ymmärtäminen (HY) 13.35 Topiikintunnistus (TKK) 13.50 Dialoginhallinta ja tehtävänhallinta (TAIK) 14.05 Luonnollisen kielen generointi (HY) 14.15 Kahvi 14.30 Demo 1: Interaktiivinen aikataulupalvelu 14.45 Demo 2: Reititysdemo 15.00 Kysy ja kokeile 15.30 Keskustelu 28/5/02Interact Demo Day

16 Arkkitehtuuri Markku Turunen TAY 28/5/02Interact Demo Day

17 Puhutun kielen ymmärtäminen Tommi Jauhiainen HY 28/5/02Interact Demo Day

18 Puheentunnistimet • Lingsoft ja Phillips • Erilaiset kieliopit • Hajauttaminen 28/5/02Interact Demo Day

19 Malmille  Kuinka pääsen Malmille?  Miten pääsen Malmille?  Millä bussilla pääsee Malmille?  Miten pääsen bussilla Malmille?  Malmille olisin bussia kysellyt.  Kuinka Malmille pääsee bussilla.  Pääsenkö bussilla Malmille? 28/5/02Interact Demo Day

20 Konseptien synty  ”Malmille” -> paikka-tulo-malmi  ”Malmilta” -> paikka-lähtö-malmi  ”millä”/”miten”/”meneekö” -> linja- kysymys  ”mistä” -> paikka-lähtö-kysymys  ”koska”/”milloin” -> aika-kysymys 28/5/02Interact Demo Day

21 Aihealuetunnistus TKK Krista Lagus Jukka Kuusisto 28/5/02Interact Demo Day

22 Dialoginhallinta TAIK Antti Kerminen Kristiina Jokinen 28/5/02Interact Demo Day

23 Dialoginhallintakomponentti Yhteinen tietovarasto Dialogin tulkitsija mitä puhuja tarkoitti Tehtävän hallitsija sovelluskohtainen tieto ”lomake” HKL tietokanta Dialogin suunnittelija mitä halutaan sanoa 28/5/02Interact Demo Day

24 Konstruktiivinen dialogimalli  Dialogi on puhujien välistä yhteistyötä jossa puhujien tarkoituksena on rakentaa yhteinen keskustelukonteksti tietyn tavoitteen saavuttamiseksi  Dialogi kuvataan sarjana dialogitiloja joissa kukin siirto tuottaa kuulijalle uutta informaatiota tietystä topiikista siihen astisen keskustelukontekstin puitteissa  Dialogitila = 6-tuple DS =  Keskustelukonteksti = dialogihistoria + tehtävähistoria 28/5/02Interact Demo Day

25 Päättely dialoginhallinnassa PuhujaDialogiaktiTopiikkiUusi tietoTavoitteetOdotukset DS n-1 PuhujaDialogiaktiTopiikkiUusi tietoTavoitteetOdotukset DS n DS n+1 PuhujaDialogiaktiTopiikkiUusi tietoTavoitteetOdotukset Dialogi- agentit DA 11 Lausuma n Lausuma n+1 DA n2 DA n1 DA n3 DA 22 DA 32 DA 11 DA 22 DA 32.... 28/5/02Interact Demo Day

26 Tehtävänhallinta TAIK Topi Hurtig 28/5/02Interact Demo Day

27 Tehtävänhallinta (TM)  Huolehtii aikataulu- ja linjatietojen hausta HKL- kannasta käyttäjän toiveiden mukaan  tiedonhaku  etsii linjavaihtoehtoja käyttäjän määrittelemälle reitille  laskee lähtöajat pysäkillä käyttäjän toiveiden mukaan  Uusi ominaisuus: ymmärtää paikkatietoja  Sen sijaan että olisi tiedettävä pysäkkien nimet, voi käyttäjä ilmaista kohteet paikannimillä.  Esim. Miten pääsen Arabiasta Munkkiniemeen? 28/5/02Interact Demo Day

28 TM: Paikkatietojen käsittely  Pysäkeillä ja paikoilla on karttakoordinaatti. Kaikki paikasta 300m säteellä olevat pysäkit kuuluvat paikan pysäkkiluetteloon. Kukin paikka sisältää keskimäärin 5-15 pysäkkiä.  Haun kulku (esim. Lassila - Tali):  Nimet eivät löydy pysäkkeinä, joten katsotaan paikka- tiedoista. TM hakee tietokannasta Talin ja Lassilan pysäkkiluetteloiden pysäkkien välillä kulkevat linjat.  TM laskee myös pyydettäessä kunkin lähtevän bussin ajan käyttäjän toiveiden mukaan : [ensimmäinen/seuraava/viimeinen] bussi. 28/5/02Interact Demo Day

29 Natural Language Generation Graham Wilcock Department of General Linguistics University of Helsinki graham.wilcock@helsinki.fi 28/5/02Interact Demo Day

30 Interact Generator  The working demo generator  Implementation: Perl  Developer: Tommi Jauhiainen  Output Language: Finnish  Speech Synthesizer: MicroPuhe  Integrated in Jaspis 28/5/02Interact Demo Day

31 English Generator  A research generator  Implementation: Java & XML  Developer: Graham Wilcock  Output Language: English  Speech Synthesizer: FreeTTS  Not integrated in Jaspis 28/5/02Interact Demo Day

32 FreeTTS  A Speech Synthesizer in Java  from Sun Microsystems  based on Flite (Festival)  free (open source)  portable (uses Java 1.4)  JSAPI interface  current voices: English 28/5/02Interact Demo Day

33 Response planning  New Information (NewInfo)  Response planning starts from NewInfo  Response always includes NewInfo  Topic  NewInfo may be wrapped by Topic link  Polite response: Topic and NewInfo  Elliptical response: NewInfo only 28/5/02Interact Demo Day

34 Generation from NewInfo (1)  Which bus goes to Malmi?  Topic: means of transportation: bus  Topic: destination: Malmi  NewInfo: bus number: 74  Number 74. 28/5/02Interact Demo Day

35 Generation from NewInfo (2)  How do I get to Malmi?  Topic: destination: Malmi  NewInfo??? means of transportation: bus  NewInfo: bus number: 74  (a) By bus – number 74.  (b) Bus 74 goes there. 28/5/02Interact Demo Day

36 XML-based generation  NLG pipeline architecture  Sequence of XML transformations  agenda  aggregation  speech markup  Template-based generation  Using XSL templates (e.g. aggregation)  Tree-to-tree transformations  Using XSL transformations (e.g. replace concepts by referring expressions) 28/5/02Interact Demo Day

37 Demo:Helsingin automaattinen bussiaikataulupalvelu 28/5/02Interact Demo Day

38 Reititysdemo 28/5/02Interact Demo Day

39 Pilottiprojektien päämäärät  Testata menetelmiä ja systeemiä  Eri aineistolla  Eri sovellusaiheissa  Kehittää  Osamoduuleja  Metodeja  Mahdollistaa  Yhteistyö tutkijoiden ja yritysjäsenten välillä  Vuorovaikutus perus- ja soveltavan tutkimuksen välillä 28/5/02Interact Demo Day

40 Automaattinen reititys • Asiakkaan kysymyksen (puoli)automaattinen reititys kysymyksen sisällön perusteella oikealle henkilölle • Helpottaa ja nopeuttaa help deskin työtä Reititin, luokitteluun perustuva Asiakas- kysely Viinit, Iines Väkevät, Hannu Oluet, Kerttu Luokka A: Iines Luokka B: Hannu Luokka C: Kerttu Muut: Iines Valitukset jne. 28/5/02Interact Demo Day

41 Lähestymistavat  LVQ-menetelmä: asiakaspalautetteista on jo olemassa käyttökelpoinen luokittelu jota käytetään luokituksen pohjana  WEBSOM-menetelmä: käyttökelpoisen luokittelun kehittymistä halutaan tutkia asiakaspalautteiden ryhmittelyn avulla 28/5/02Interact Demo Day

42 Yleiskeskustelu  Tutkimus  Hyödyntäminen  Julkisuus: loppudemo 28/5/02Interact Demo Day

43 3. toimintavuosi: tutkimus  Puheentunnistuksen kehittäminen  Virhetilanteiden robusti hallinta: kontekstin hyväksikäyttö  Käyttäjätestit: mahdollinen demo-center  Aihealuemallinnus:menetelmän kehittäminen  Dialogistrategiat: oppiminen  Agenttien ja evaluaattorien kehittäminen  Viittomakielinen helppi 28/5/02Interact Demo Day

44 Hyödyntäminen  Noppa-projekti: näkövammaisten opastusjärjestelmän pilot-hanke  Jatkotutkimus- ja kehitystyö 28/5/02Interact Demo Day