PUHETEKNOLOGIA RIKOSTEN TUTKINNASSA

Esitys aiheesta: "PUHETEKNOLOGIA RIKOSTEN TUTKINNASSA"— Esityksen transkriptio:

1 PUHETEKNOLOGIA RIKOSTEN TUTKINNASSA
____________________________ Tuija Niemi-Laitinen Tutkija/Tekninen osasto Rikostekninen laboratorio Keskusrikospoliisi

2 ÄÄNI JA LAATU rikostekninen laboratorio antanut äänilausuntoja vuodesta 1995 alkaen 3 akkreditoitua menetelmää 2003 ensimmäisenä maailmassa! Keskusrikospoliisi

3 ÄÄNITUTKIMUKSEN MAHDOLLISUUDET
puhenäytteiden vertailu ja/tai profilointi puheen ymmärrettävyyden parantaminen foneettinen analyysi (transkriptio) taustaäänien analyysi Keskusrikospoliisi

4 ÄÄNTÄ ON KAIKKIALLA digitaaliset äänitiedostot (hätäkeskus, poliisi)
teknisen tarkkailun äänet telekuuntelun äänet valvontakameroiden äänet vastaajapalvelut sanelukoneet jne. Keskusrikospoliisi

5 1. ÄÄNENLAADUN PARANNUS suodattamalla ja vahvistamalla eri tekniikoilla puhelun taustaäänien parannus teknisen tarkkailun äänien parannus Keskusrikospoliisi

6 2. PUHESISÄLLÖN SELVITYS
selvitetään ja kirjataan lausunnon liitteelle kaikki tutkinnan alla olevat kohdat äänitallenteella myös tausta- ja mekaaniset äänet merkitään voidaan myös ”kellottaa” tapahtumien kulkua Keskusrikospoliisi

7 3. PUHENÄYTTEIDEN VERTAILU =puhujantunnistus
epäilty kiistää puhuvansa äänitallenteella verrataan kiistettyä ääninäytettä ja vertailunäytettä SAMA VAI ERI PUHUJA? Keskusrikospoliisi

8 SAMA VAI ERI PUHUJA? Menetelmät: auditiivinen akustinen
automaattinen analyysi -> piirteiden vertailu -> johtopäätös: millä todennäköisyydellä puhujat ovat sama (tai eri) puhuja Keskusrikospoliisi

9 JOHTOPÄÄTÖSASTEIKKO A Erittäin todennäköisesti sama puhuja
B Todennäköisesti sama puhuja C Viitteitä samasta puhujasta D Ei johtopäätöksiä E Viitteitä eri puhujista F Erittäin todennäköisesti eri puhujat Keskusrikospoliisi

10 AKUSTINEN ANALYYSI PRAAT-ohjelma
puheen perustaajuuden keskiarvo, mediaani, hajonta, minimi ja maksimiarvot puheen pitkäaikaiskeskiarvospektri LTAS (korrelaatio + kuvaaja) äänteiden vertailut [a], [e], [i] SIVE (Speaker Identification and Verification) puheen perustaajuuden mittausarvojen korrelaatio jakaumien visuaalinen vertailu WinSProfiler puheesta laskettujen piirrevektorien automaattinen vertailu epäiltyjen äänirekisteri olemassa (näytteet v ) normaalipuhujien tietokanta (USIX: 100 puhujaa) Keskusrikospoliisi

11 Keskusrikospoliisi

12 PUMS-projekti Puheenkäsittelyn Uudet Menetelmät ja Sovellukset
Tutkijatahot: Joensuun yliopisto/ tietojenkäsittely Helsingin yo/ puhetieteet, kieliteknologia, käännöstiede Helsingin TKK/ akustiikka, informaatiotekniikka, Tampereen Tekn. yo/ signaalinkäsittely Tampereen yo/ tietojenkäsittely Turun yo/ fonetiikka, informaatiotekniikka VTT/ tuotteet ja tuotanto Keskusrikospoliisi

13 PUMS-projekti Puheenkäsittelyn Uudet Menetelmät ja Sovellukset
Rahoittajatahoja: Keskusrikospoliisi Ilmavoimat Näkövammaisten Keskusliitto Kone Oyj HKL Kouvolan Seudun Kuntayhtymä ICT-Turku Lingsoft Oy Sanako Oy Bitlips Oy Keskusrikospoliisi

14 PUMS-projekti -> automaattinen puheentunnistus
KRP mukana rahoittamassa -> automaattinen puheentunnistus etsii kohdat, joissa puhetta/hälyä etsii kohdat, joissa puhuja vaihtuu avainsanat -> automaattinen puhujantunnistus Keskusrikospoliisi

15 MITÄ ON SAATU? tutkimustietoa ja menetelmäkehitystä, esim.
Praat-ohjelman skriptejä, jotka helpottavat analyysityötä laboratoriossa (Puhetieteet/HY) puheen automaattinen segmentointi-ohjelma automaattisesti segmentoituja äänitiedostoja puoliautomaattinen puhujantunnistus-ohjelma ”WinSProfiler” kehitelty Joensuussa ( Keskusrikospoliisi

16 Keskusrikospoliisi

17 Keskusrikospoliisi

18 Automaattisen tunnistajan tuloksia
Taulukko 1. Oikean puhujan tunnistustarkkuus forensisilla puhenäytteillä (näytteet GSM-puhelimen kautta, ajoittain häiriöisiä, kestot vaihtelee 5 sekunnista - useita minuutteja)* 1. sijalle % % % *Niemi-Laitinen, T., Saastamoinen, J., Kinnunen, T. & Fränti, P. (2005) Applying MFCC-based Automatic Speaker Recognition in GSM and Forensic Data. In M. Langemets & P. Penjam (eds) Proceedings of the Second Baltic Conference on Human Language Technologies Tallinn, Estonia, April , Keskusrikospoliisi

19 MUUTA HYÖDYLLISTÄ verkottumista tutkijoiden kanssa
suora palaute tutkijalle -> lisätutkimukset -> testaukset -> tieto hyötykäyttöön yhteistyö KRP:n sisällä: teknisen asiantuntijapalvelun (TAP) ja laboratorion (RTL) äänitutkimusten välillä Keskusrikospoliisi

20 MITÄ HALUTAAN LISÄÄ… puheentunnistin, joka tunnistaa avainsanat ja puhujan vaihtumisen myös jatkuvasta puheesta on-line! automaattinen, luotettava, moniparametrinen puhujantunnistus-ohjelma, off-line ja on-line! Keskusrikospoliisi

21 MIKÄ LIENEE MAHDOLLISTA PUHEENTUNNISTUKSESSA -2007
puheen/hälyn tunnistin avainsanojen haku Keskusrikospoliisi

22 …PUHUJANTUNNISTUKSESSA
WinSProfilerin kehittäminen moniparametriseksi systeemiksi, off-line Praat-ohjelman ComPair –skriptin kehttäminen niin, että ilmaisee kahden verrattavan näytteen etäisyyden toisiinsa ja suhteessa kahteen vertailutietokantaan ”normaalipuhujat” ja ”epäillyt henkilöt” -> bayesilainen päättely Keskusrikospoliisi

23 BAYES’ THEOREM Keskusrikospoliisi

24 Likelihood ratios and their explanations
RATIO: PROBABILITY: 1 to 10 Weak 10 to 100 Moderate 100 to Strong > Very strong Keskusrikospoliisi

25 ”NORMAALIPUHUJIEN” vertailuäänitietokanta
200 puhujan tietokanta kerätty (USIX-hanke) näistä käyttökelpoisia n. 100 tietokannan puhujien piirteet edustavat keskiarvoja, joihin uusia tapauksia verrataan tutkimuskäytössä tällä hetkellä Keskusrikospoliisi

26 EPÄILTYJEN vertailuäänitietokanta
löytyykö epäilty tietokannasta vai onko uusi? piirteiden irrotus tallennus vektoreina haku tietokannasta off-line, on-line ÄÄNI EI TALLENNU, paitsi jos halutaan varmennustietokanta lisätutkimuksia varten Keskusrikospoliisi

27 POLIISI SAA… tallentaa rekisteröitävien, syylliseksi epäiltyjen henkilöiden puhetta (PakkokeinoL 6:4 §) taltioida kuulusteluja esitutkinnan yhteydessä (EsitutkintaL 39 §) tallentaa äänimateriaalia telekuuntelutoimintaa tai teknistä tarkkailua suorittaessaan (Pakkokeinolain 5 a luvun 2 ja 4 §§ sekä Poliisilain 31 § 3 mom.) tallentaa äänimateriaalia kadonneisiin henkilöihin tai kuolemansyyn selvittämiseen liittyen (PoliisiL 15 ja 38 §§ sekä laki kuolemansyyn selvittämisestä 7 luvun 7 §) Keskusrikospoliisi