University of Joensuu Dept. of Computer Science P.O. Box 111 FIN- 80101 Joensuu Tel. +358 13 251 7959 fax +358 13 251 7955 www.cs.joensuu.fi Puheteknologian.

Esitys aiheesta: "University of Joensuu Dept. of Computer Science P.O. Box 111 FIN- 80101 Joensuu Tel. +358 13 251 7959 fax +358 13 251 7955 www.cs.joensuu.fi Puheteknologian."— Esityksen transkriptio:

1 University of Joensuu Dept. of Computer Science P.O. Box 111 FIN- 80101 Joensuu Tel. +358 13 251 7959 fax +358 13 251 7955 www.cs.joensuu.fi Puheteknologian tutkimus Joensuussa Pasi Fränti Tietojenkäsittelytieteen laitos Joensuun yliopisto 8.1.2003

2 University of Joensuu Dept. of Computer Science P.O. Box 111 FIN- 80101 Joensuu Tel. +358 13 251 7959 fax +358 13 251 7955 www.cs.joensuu.fi Joensuun yliopisto Perustettu 1969 2 kampusta: Joensuu, Savonlinna 6 tiedekuntaa, 9 muuta yksikköä Yhteensä 7200 opiskelijaa

3 University of Joensuu Dept. of Computer Science P.O. Box 111 FIN- 80101 Joensuu Tel. +358 13 251 7959 fax +358 13 251 7955 www.cs.joensuu.fi Tietojenkäsittelytiede 5 professoria, kokonaishenkilöstö 90-100 29 FM-tutkintoa (v. 2002) 3-5 Väitöskirjaa (2004--) 80 uutta perusopiskelijaa ja 20 kansainvälistä maisteriopiskelijaa. Ohjelmistosuunnittelijoiksi, erikoisalojen asiantuntijoiksi, tietotekniikan kouluttajiksi.

4 University of Joensuu Dept. of Computer Science P.O. Box 111 FIN- 80101 Joensuu Tel. +358 13 251 7959 fax +358 13 251 7955 www.cs.joensuu.fi Laitoksen kehitys

5 University of Joensuu Dept. of Computer Science P.O. Box 111 FIN- 80101 Joensuu Tel. +358 13 251 7959 fax +358 13 251 7955 www.cs.joensuu.fi Päätutkimusalat Ohjelmistotuotanto Opetusteknologia Signaalinkäsittely –Spektrikuvat (InFotonics Center) –Hahmontunnistus –Kuva-analyysi –Data Mining –Puheteknologia

6 University of Joensuu Dept. of Computer Science P.O. Box 111 FIN- 80101 Joensuu Tel. +358 13 251 7959 fax +358 13 251 7955 www.cs.joensuu.fi Julkaisut

7 University of Joensuu Dept. of Computer Science P.O. Box 111 FIN- 80101 Joensuu Tel. +358 13 251 7959 fax +358 13 251 7955 www.cs.joensuu.fi Puheteknologian tutkimus Joensuussa yleisen kielitieteen ja tietojenkäsittelytieteen yhteistyötä Kielitiede: perustutkimusta, fonetiikka, prosodia, synteesi, puhujantunnistus TKT: puhetekniikan menetelmät –Hahmontunnistusmenetelmät –Datafuusio –Automaattinen tunnistus, reaaliaikaisuus –TKT:lla osaamista myös suomenkielisessä puheentunnistuksessa

8 University of Joensuu Dept. of Computer Science P.O. Box 111 FIN- 80101 Joensuu Tel. +358 13 251 7959 fax +358 13 251 7955 www.cs.joensuu.fi Historia SUOPUHE-projekti –Kielitiede mukana –Tulos: laadukas suomen puhesynteesi TKT:lla yllättäviä tuloksia: –puhujantunnistus onnistuu automaattisilla menetelmillä, ilman lingvistiikkaa –Useita graduja: Kinnunen (’99), Kilpeläinen (’02), Karpov (’03), Pulkrabek (’03). –Väitöskirjatason tutkimusta: Kinnunen ja Karpov sekä muita sivuavista aiheista.

9 University of Joensuu Dept. of Computer Science P.O. Box 111 FIN- 80101 Joensuu Tel. +358 13 251 7959 fax +358 13 251 7955 www.cs.joensuu.fi Mistä puhe koostuu? Sisältö: puhujan tarkoittama viesti Puhujan ominaisuudet: ääntöväylä, puhetapa Siirtoväylä: Puheympäristön akustiikka, sähköiset laitteet Aikariippuvat puhujaparametrit: tunnetila, terveydentila Kieli, murre

10 University of Joensuu Dept. of Computer Science P.O. Box 111 FIN- 80101 Joensuu Tel. +358 13 251 7959 fax +358 13 251 7955 www.cs.joensuu.fi Mitä on puhetekniikka? Puhesynteesi Puheentunnistus Puhujantunnistus Puhujan tunnetilan tunnistus Sovellukset –sähköpostinlukijat, puheohjaus, henkilövarmennus, rikostutkinta, näkö- ja kuulovammaisten palvelut

11 University of Joensuu Dept. of Computer Science P.O. Box 111 FIN- 80101 Joensuu Tel. +358 13 251 7959 fax +358 13 251 7955 www.cs.joensuu.fi Puhesignaalin analyysi Yleisesti käytetty menetelmä: –digitaalisesta puhesignaalivirrasta lasketaan jatkuvasti lokaaleja spektrejä –spektrien käyttö riippuu sovelluksesta –usein spektriä jalostetaan edelleen helpommin numeerisesti analysoitavaksi Muitakin menetelmiä on: –suodatus ja analyysi aika-alueessa –perustaajuuden ja formanttien mallintaminen

12 University of Joensuu Dept. of Computer Science P.O. Box 111 FIN- 80101 Joensuu Tel. +358 13 251 7959 fax +358 13 251 7955 www.cs.joensuu.fi Puhujantunnistus Mallinnetaan puhujan ominaisuudet –signaalista etsitään ja mallinnetaan puhujia erottelevia ominaisuuksia –muut ominaisuudet sivuseikka Mallin avulla päätellään kuka puhui –puhujantunnistus –puhujanvarmennus Opetusaineisto: puhenäytteitä puhujilta joita halutaan tunnistaa

13 University of Joensuu Dept. of Computer Science P.O. Box 111 FIN- 80101 Joensuu Tel. +358 13 251 7959 fax +358 13 251 7955 www.cs.joensuu.fi Puhujantunnistus: pääpiirteet Piirreirrotus ? Hahmontunnistus Päätöslogiikka Tunnistustulos / Varmennustulos PiirreirrotusMallin luonti Puhujatietokanta... Puhuja N Opetus Tunnistus Puhuja 1

14 University of Joensuu Dept. of Computer Science P.O. Box 111 FIN- 80101 Joensuu Tel. +358 13 251 7959 fax +358 13 251 7955 www.cs.joensuu.fi Esimerkki: Spektrit Tunnistus: kuka puhuu tässä? “Puhetietokanta”

15 University of Joensuu Dept. of Computer Science P.O. Box 111 FIN- 80101 Joensuu Tel. +358 13 251 7959 fax +358 13 251 7955 www.cs.joensuu.fi Ongelma: puhujakohtainen vaihtelu

16 University of Joensuu Dept. of Computer Science P.O. Box 111 FIN- 80101 Joensuu Tel. +358 13 251 7959 fax +358 13 251 7955 www.cs.joensuu.fi Signaalivirran käsittely Kehys 1 Kehys 2 Kehys iKehys 3 Kehyksen pituus Päällekkäisyys Ikkunafunkio... Piirrevektori x i Spektrianalyysi Piirreirrotus

17 University of Joensuu Dept. of Computer Science P.O. Box 111 FIN- 80101 Joensuu Tel. +358 13 251 7959 fax +358 13 251 7955 www.cs.joensuu.fi Esimerkki piirrejoukkoista Vektorikvantisointi (VQ) Gaussin mikstuura (GMM)

18 University of Joensuu Dept. of Computer Science P.O. Box 111 FIN- 80101 Joensuu Tel. +358 13 251 7959 fax +358 13 251 7955 www.cs.joensuu.fi Puhujaprofiilin muodostuminen

19 University of Joensuu Dept. of Computer Science P.O. Box 111 FIN- 80101 Joensuu Tel. +358 13 251 7959 fax +358 13 251 7955 www.cs.joensuu.fi Mallien vertailu Kahden puhujan vertailu: piirrejakaumien vertailu Lasketaan diskreettien jakaumien etäisyyksiä Puhujan no. 1 piirrevektorit Puhujan no. 2 piirrevektorit Puhujan no. 3 piirrevektorit tunnistettava puhuja

20 University of Joensuu Dept. of Computer Science P.O. Box 111 FIN- 80101 Joensuu Tel. +358 13 251 7959 fax +358 13 251 7955 www.cs.joensuu.fi Painotettu luokittelu Kullekin piirrevektorille annetaan painoarvo erottelukyvyn mukaan ”Huonoja” ”Hyviä” vektoreita puhujan #2 erotteluun ”Hyviä” vektoreita puhujan #1 erotteluun

21 University of Joensuu Dept. of Computer Science P.O. Box 111 FIN- 80101 Joensuu Tel. +358 13 251 7959 fax +358 13 251 7955 www.cs.joensuu.fi Puhujien karsinta Tehostaa tunnistusta reaaliaikasovelluksiin

22 University of Joensuu Dept. of Computer Science P.O. Box 111 FIN- 80101 Joensuu Tel. +358 13 251 7959 fax +358 13 251 7955 www.cs.joensuu.fi Piirrefuusio Parantaa tunnistustarkkuutta

23 University of Joensuu Dept. of Computer Science P.O. Box 111 FIN- 80101 Joensuu Tel. +358 13 251 7959 fax +358 13 251 7955 www.cs.joensuu.fi Akustiikan vaikutus Petkuttajan piirrejakauma Todellisen puhujan piirrejakauma Score Frekvenssi Päätösraja Laboratorio-oloissa nauhoitettu opetusaineisto Score Frekvenssi Meluisa käyttöympäristö HyväksyttyHylätty Todellisen henkilön piirrejaauma Petkuttajan piirrejakauma Seuraus: kaikki puhujat hyväksytään! Nykymenetelmillä esimerkiksi käyttöympäristön vaihtelu on ongelma Joensuussa tutkitaan kuinka tästä voidaan päästään eroon

24 University of Joensuu Dept. of Computer Science P.O. Box 111 FIN- 80101 Joensuu Tel. +358 13 251 7959 fax +358 13 251 7955 www.cs.joensuu.fi Puheentunnistus Mallinnetaan puheen sisältö –Samat spektripohjaiset signaalinkäsittelyn menetelmät kuin puhujantunnistuksessa. –Spektrien luokittelu Markov-ketjun tiloihin sanoina tai äänteinä (monofoni tai trifoni) –Tarvitaan kielimalli, joka rajoittaa tilasiirtymiä Opetusaineisto: paljon puhetta –vähintään sana-annotointi –paljon puhujia => puhujariippumaton puheentunnistin –vähän puhujia => puhujariippuva tunnistin

25 University of Joensuu Dept. of Computer Science P.O. Box 111 FIN- 80101 Joensuu Tel. +358 13 251 7959 fax +358 13 251 7955 www.cs.joensuu.fi PUMS-projekti Puhetekniikan Uudet Menetelmät ja Sovellukset (2003-2006) Tekes-projekti, jossa useita yritys- ja yhteisöosapuolia, korkeakouluista TTY, TY, TKK, TaY, HY, JoY, sekä VTT. 1. vuosi: Joensuussa kaksi henkilö- työvuotta puhujantunnistukseen. On-line tunnistus (Nokia, Lingsoft) 1,5 v. Off-line tunnistus (ProfMatch) 0,5 v. http://cs.joensuu.fi/pages/pums/

26 University of Joensuu Dept. of Computer Science P.O. Box 111 FIN- 80101 Joensuu Tel. +358 13 251 7959 fax +358 13 251 7955 www.cs.joensuu.fi Projektin tavoitteet Totetuttaa tehokkaimmat puhujantunnistustekniikat –Puhujaprofiilien hallinta sekä puhujantunnistus –Signaali: kepstrit, Delta-kert, CMS, optimisuodinpankki –Profiilitietokanta ja luokittelumenetelmät: VQ, GMM Toteutuksen siirto yhteistyötahojen sovellusalustoille –PC-ohjelmisto: puhujaprofiilien hallinta ja tunnistus –Matkapuhelimessa toimiva puhujantunnistus Systemaattinen testaus eri käyttöoloissa ja laitteissa Pitkällä aikavälillä uusia tehokkaampia menetelmiä –Eri piirteiden yhtaikainen käyttö (fuusio) –Segmentoinnin hyödyntäminen: erotteleva piirreirrotus –Optimaalisesti erottelevat opetus-ja tunnistusmenetelmät –Kunnollinen luotettavuusestimaatti puhujanvarmennukseen –Reaaliaikasovellukset

27 University of Joensuu Dept. of Computer Science P.O. Box 111 FIN- 80101 Joensuu Tel. +358 13 251 7959 fax +358 13 251 7955 www.cs.joensuu.fi Tutkimusryhmä Pasi FräntiJuhani SaastamoinenEvgeny Karpov Ville HautamäkiTomi KinnunenIsmo Kärkkäinen

28 University of Joensuu Dept. of Computer Science P.O. Box 111 FIN- 80101 Joensuu Tel. +358 13 251 7959 fax +358 13 251 7955 www.cs.joensuu.fi Kehitettävät ohjelmistot Profmatch –PC-ohjelmisto (ANSI-C konsoli) –Perusalgoritmit off-line tunnistukseen ja kehittyneempiä menetelmiä kuten piirrefuusio Sprofiler –PC-ohjelmisto (ANSI-C konsoli), mikrofonituki –profiilitietokannan hallinta, on-line tunnistus –sisältää kehittyneempiä menetelmiä kuten karsinta Uudet ohjelmat reaaliaikatunnistukseen –Windows, ”Sprofiler-yhteensopiva”

29 University of Joensuu Dept. of Computer Science P.O. Box 111 FIN- 80101 Joensuu Tel. +358 13 251 7959 fax +358 13 251 7955 www.cs.joensuu.fi DB small Entry Level Top of the Line DB large FE UI ID CLASS. Technology Components ID = Identification technology, consists of CLASS.: Speaker Modeling and Classification F.E.: Feature Extractor DB = Speaker Model Database U.I. = User Interface CLIENT Media UI FE Part of application SERVER Speaker Modeling and Classification Speaker Database Part of application ClientServer TCP/IP Application Concepts

30 University of Joensuu Dept. of Computer Science P.O. Box 111 FIN- 80101 Joensuu Tel. +358 13 251 7959 fax +358 13 251 7955 www.cs.joensuu.fi Mahdollisuudet ja haasteet Puhujantunnistuksen teknologiasiirto PUMS-projektin puitteissa. Periaatteessa muut tunnistustehtävät: puhujaryhmä, mielentila, kulttuuritausta, akustinen tausta Puheentunnistus –Osaamispohja löytyy –Samat signaalinkäsittelymenetelmät –Rajoittuminen suomenkieleen helpottaa

31 University of Joensuu Dept. of Computer Science P.O. Box 111 FIN- 80101 Joensuu Tel. +358 13 251 7959 fax +358 13 251 7955 www.cs.joensuu.fi Yhteystiedot Email:pasi.franti@joensuu.fipasi.franti@joensuu.fi juhani.saastamoinen@joensuu.fi juhani.saastamoinen@joensuu.fi Web:http://cs.joensuu.fi/pages/pums/http://cs.joensuu.fi/pages/pums/