PUHETEKNOLOGIA RIKOSTEN TUTKINNASSA ____________________________ Tuija Niemi-Laitinen Tutkija/Tekninen osasto Rikostekninen laboratorio Keskusrikospoliisi

ÄÄNI JA LAATU rikostekninen laboratorio antanut äänilausuntoja vuodesta 1995 alkaen 3 akkreditoitua menetelmää 2003 ensimmäisenä maailmassa! Keskusrikospoliisi 22.9.2018

ÄÄNITUTKIMUKSEN MAHDOLLISUUDET puhenäytteiden vertailu ja/tai profilointi puheen ymmärrettävyyden parantaminen foneettinen analyysi (transkriptio) taustaäänien analyysi Keskusrikospoliisi 22.9.2018

ÄÄNTÄ ON KAIKKIALLA digitaaliset äänitiedostot (hätäkeskus, poliisi) teknisen tarkkailun äänet telekuuntelun äänet valvontakameroiden äänet vastaajapalvelut sanelukoneet jne. Keskusrikospoliisi 22.9.2018

1. ÄÄNENLAADUN PARANNUS suodattamalla ja vahvistamalla eri tekniikoilla puhelun taustaäänien parannus teknisen tarkkailun äänien parannus Keskusrikospoliisi 22.9.2018

2. PUHESISÄLLÖN SELVITYS selvitetään ja kirjataan lausunnon liitteelle kaikki tutkinnan alla olevat kohdat äänitallenteella myös tausta- ja mekaaniset äänet merkitään voidaan myös ”kellottaa” tapahtumien kulkua Keskusrikospoliisi 22.9.2018

3. PUHENÄYTTEIDEN VERTAILU =puhujantunnistus epäilty kiistää puhuvansa äänitallenteella verrataan kiistettyä ääninäytettä ja vertailunäytettä SAMA VAI ERI PUHUJA? Keskusrikospoliisi 22.9.2018

SAMA VAI ERI PUHUJA? Menetelmät: auditiivinen akustinen automaattinen analyysi -> piirteiden vertailu -> johtopäätös: millä todennäköisyydellä puhujat ovat sama (tai eri) puhuja Keskusrikospoliisi 22.9.2018

JOHTOPÄÄTÖSASTEIKKO A Erittäin todennäköisesti sama puhuja B Todennäköisesti sama puhuja C Viitteitä samasta puhujasta D Ei johtopäätöksiä E Viitteitä eri puhujista F Erittäin todennäköisesti eri puhujat Keskusrikospoliisi 22.9.2018

AKUSTINEN ANALYYSI PRAAT-ohjelma puheen perustaajuuden keskiarvo, mediaani, hajonta, minimi ja maksimiarvot puheen pitkäaikaiskeskiarvospektri LTAS (korrelaatio + kuvaaja) äänteiden vertailut [a], [e], [i] SIVE (Speaker Identification and Verification) puheen perustaajuuden mittausarvojen korrelaatio jakaumien visuaalinen vertailu WinSProfiler puheesta laskettujen piirrevektorien automaattinen vertailu epäiltyjen äänirekisteri olemassa (näytteet v. 2000-2005) normaalipuhujien tietokanta (USIX: 100 puhujaa) Keskusrikospoliisi 22.9.2018

Keskusrikospoliisi 22.9.2018

PUMS-projekti Puheenkäsittelyn Uudet Menetelmät ja Sovellukset Tutkijatahot: Joensuun yliopisto/ tietojenkäsittely Helsingin yo/ puhetieteet, kieliteknologia, käännöstiede Helsingin TKK/ akustiikka, informaatiotekniikka, Tampereen Tekn. yo/ signaalinkäsittely Tampereen yo/ tietojenkäsittely Turun yo/ fonetiikka, informaatiotekniikka VTT/ tuotteet ja tuotanto Keskusrikospoliisi 22.9.2018

PUMS-projekti Puheenkäsittelyn Uudet Menetelmät ja Sovellukset Rahoittajatahoja: Keskusrikospoliisi Ilmavoimat Näkövammaisten Keskusliitto Kone Oyj HKL Kouvolan Seudun Kuntayhtymä ICT-Turku Lingsoft Oy Sanako Oy Bitlips Oy Keskusrikospoliisi 22.9.2018

PUMS-projekti -> automaattinen puheentunnistus KRP mukana rahoittamassa 2003-2007 -> automaattinen puheentunnistus etsii kohdat, joissa puhetta/hälyä etsii kohdat, joissa puhuja vaihtuu avainsanat -> automaattinen puhujantunnistus Keskusrikospoliisi 22.9.2018

MITÄ ON SAATU? tutkimustietoa ja menetelmäkehitystä, esim. Praat-ohjelman skriptejä, jotka helpottavat analyysityötä laboratoriossa (Puhetieteet/HY) puheen automaattinen segmentointi-ohjelma automaattisesti segmentoituja äänitiedostoja puoliautomaattinen puhujantunnistus-ohjelma ”WinSProfiler” kehitelty Joensuussa (http://cs.joensuu.fi/sipu/) Keskusrikospoliisi 22.9.2018

Keskusrikospoliisi 22.9.2018

Keskusrikospoliisi 22.9.2018

Automaattisen tunnistajan tuloksia Taulukko 1. Oikean puhujan tunnistustarkkuus forensisilla puhenäytteillä (näytteet GSM-puhelimen kautta, ajoittain häiriöisiä, kestot vaihtelee 5 sekunnista - useita minuutteja)* 1. sijalle 68.9 % 1.-3. 82.0 % 1.-5. 85.2 % *Niemi-Laitinen, T., Saastamoinen, J., Kinnunen, T. & Fränti, P. (2005) Applying MFCC-based Automatic Speaker Recognition in GSM and Forensic Data. In M. Langemets & P. Penjam (eds) Proceedings of the Second Baltic Conference on Human Language Technologies Tallinn, Estonia, April 4-5. 2005, 317-322. Keskusrikospoliisi 22.9.2018

MUUTA HYÖDYLLISTÄ verkottumista tutkijoiden kanssa suora palaute tutkijalle -> lisätutkimukset -> testaukset -> tieto hyötykäyttöön yhteistyö KRP:n sisällä: teknisen asiantuntijapalvelun (TAP) ja laboratorion (RTL) äänitutkimusten välillä Keskusrikospoliisi 22.9.2018

MITÄ HALUTAAN LISÄÄ… puheentunnistin, joka tunnistaa avainsanat ja puhujan vaihtumisen myös jatkuvasta puheesta on-line! automaattinen, luotettava, moniparametrinen puhujantunnistus-ohjelma, off-line ja on-line! Keskusrikospoliisi 22.9.2018

MIKÄ LIENEE MAHDOLLISTA PUHEENTUNNISTUKSESSA -2007 puheen/hälyn tunnistin avainsanojen haku Keskusrikospoliisi 22.9.2018

…PUHUJANTUNNISTUKSESSA WinSProfilerin kehittäminen moniparametriseksi systeemiksi, off-line Praat-ohjelman ComPair –skriptin kehttäminen niin, että ilmaisee kahden verrattavan näytteen etäisyyden toisiinsa ja suhteessa kahteen vertailutietokantaan ”normaalipuhujat” ja ”epäillyt henkilöt” -> bayesilainen päättely Keskusrikospoliisi 22.9.2018

BAYES’ THEOREM Keskusrikospoliisi 22.9.2018

Likelihood ratios and their explanations RATIO: PROBABILITY: 1 to 10 Weak 10 to 100 Moderate 100 to 1000 Strong > 1000 Very strong Keskusrikospoliisi 22.9.2018

”NORMAALIPUHUJIEN” vertailuäänitietokanta 200 puhujan tietokanta kerätty (USIX-hanke) näistä käyttökelpoisia n. 100 tietokannan puhujien piirteet edustavat keskiarvoja, joihin uusia tapauksia verrataan tutkimuskäytössä tällä hetkellä Keskusrikospoliisi 22.9.2018

EPÄILTYJEN vertailuäänitietokanta löytyykö epäilty tietokannasta vai onko uusi? piirteiden irrotus tallennus vektoreina haku tietokannasta off-line, on-line ÄÄNI EI TALLENNU, paitsi jos halutaan varmennustietokanta lisätutkimuksia varten Keskusrikospoliisi 22.9.2018

POLIISI SAA… tallentaa rekisteröitävien, syylliseksi epäiltyjen henkilöiden puhetta (PakkokeinoL 6:4 §) taltioida kuulusteluja esitutkinnan yhteydessä (EsitutkintaL 39 §) tallentaa äänimateriaalia telekuuntelutoimintaa tai teknistä tarkkailua suorittaessaan (Pakkokeinolain 5 a luvun 2 ja 4 §§ sekä Poliisilain 31 § 3 mom.) tallentaa äänimateriaalia kadonneisiin henkilöihin tai kuolemansyyn selvittämiseen liittyen (PoliisiL 15 ja 38 §§ sekä laki kuolemansyyn selvittämisestä 7 luvun 7 §) Keskusrikospoliisi 22.9.2018