Esittely latautuu. Ole hyvä ja odota

Esittely latautuu. Ole hyvä ja odota

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 29 – Janne Ojanen Optimointiopin seminaari - Syksy 2005 1 Dynaamiset Bayesverkot Osa 1.

Samankaltaiset esitykset


Esitys aiheesta: "S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 29 – Janne Ojanen Optimointiopin seminaari - Syksy 2005 1 Dynaamiset Bayesverkot Osa 1."— Esityksen transkriptio:

1 S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 29 – Janne Ojanen Optimointiopin seminaari - Syksy 2005 1 Dynaamiset Bayesverkot Osa 1 – Johdanto ja rakenne Janne Ojanen Aatu Kaapro K.P. Murphy (2002) Dynamic Bayesian Networks: Representation, Inference and Learning

2 S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 29 – Janne Ojanen Optimointiopin seminaari - Syksy 2005 2 Sisältö Johdanto Tila-avaruusmallinnus Dynaamisen Bayesverkon määrittely Esimerkki 1: hidden Markov model Esimerkki 2: Kalman-suodinmalli Yhteenveto

3 S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 29 – Janne Ojanen Optimointiopin seminaari - Syksy 2005 3 Johdanto Sekventiaalinen data (aikasarjat, sekvenssit) on yleinen ilmiö useissa tutkimuskohteissa. Saadaan havaintoja y 1:t = (y 1,…,y t ). Halutaan esim. ennustus tulevasta havainnosta y t+1. Erilaisia ”perinteisiä” lähestymistapoja aikasarjamallinnukseen: –Lineaarimallit (ARIMA, ARMAX, yms.) –Epälineaariset mallit (neuroverkot, päätöspuut) Tila-avaruusmallinnus: –Oletetaan kätketty todellinen tila, joka tuottaa havainnot. –Systeemin tila muuttuu ajan mukana

4 S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 29 – Janne Ojanen Optimointiopin seminaari - Syksy 2005 4 Tila-avaruusmallit Tila-avaruusmallin (state-space model) osat: –Lähtötila P(X 1 ) –Tilasiirtymämalli P(X t | X t-1 ) –Havaintomalli P(Y t | X t ) Tila-avaruusmalli kuvaa miten systeemin tila X t generoi havainnon Y t ja systeemin seuraavan tilan X t+1. Päättelyn tavoitteena on kääntää tämä kuvaus, eli päätellä jotakin tiloista (X 1,…,X t ) havaintojen (Y 1,…,Y t ) perusteella.

5 S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 29 – Janne Ojanen Optimointiopin seminaari - Syksy 2005 5 Tila-avaruusmallinnuksesta Vaikka mallissa on oletettu 1. asteen Markov- riippuvuus, eli P(X t | X 1:t ) = P(X t | X t-1 ), voidaan korkeampiakin riippuvuuksia sisällyttää malliin. Malliin sisällytetään usein myös säätömuuttuja U t. Tunnetuimmat esimerkit tila-avaruusmalleista ovat hidden Markov model (HMM) ja Kalman- suodinmalli (KSM). Dynaaminen Bayesverkko (DBV) on yleisempi tila- avaruusmalli, jonka erikoistapauksia HMM ja KSM ovat.

6 S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 29 – Janne Ojanen Optimointiopin seminaari - Syksy 2005 6 Dynaaminen Bayesverkko – johdanto Dynaaminen Bayesverkko on tavallisen Bayesverkon yleistys, joka kykenee kuvaamaan dynaamista systeemiä. Asiaa käsitelty aiemmin kurssilla esitelmässä 6 aikaleimattujen mallien yhteydessä. Huom! ”Dynaaminen” = ”Systeemin tila muuttuu ajan kuluessa”. DBV oletetaan käytännössä aika-invariantiksi, eli mallin rakenne ja siihen liittyvät jakaumat EIVÄT muutu ajan kuluessa. Aika-invarianttius ei ole välttämätön oletus, vaan se tehdään päättelyn ja oppimisen yksinkertaistamiseksi.

7 S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 29 – Janne Ojanen Optimointiopin seminaari - Syksy 2005 7 Dynaaminen Bayesverkko - muuttujat Kätketty tila koostuu satunnaismuuttujista X t i, i  {1,…,N h } Vastaavasti havainnoille: Y t j, j  {1,…,N o } Diskreettiaikainen systeemi, t on siis kokonaisluku Ryhmitellään muuttujat Z t = (X t, Y t ), yhteensä N = N h + N o kpl kussakin ajanhetkessä t. Satunnaismuuttujat voivat olla diskreettejä tai jatkuvia. Verkon ominaisuudet määräytyvät satunnaismuuttujien määrän, ulottuvuuden ja niihin liittyvien jakaumien perusteella.

8 S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 29 – Janne Ojanen Optimointiopin seminaari - Syksy 2005 8 Dynaaminen Bayesverkko – määritelmä Dynaaminen Bayesverkko on pari (B 1, B → ), jossa –B 1 on Bayesverkko, joka määrittää priorin P(Z 1 ) –B → on kaksisiivuinen aikaleimattu Bayesverkko, joka määrittää todennäköisyyden P(Z t | Z t-1 ) suunnattuna syklittömänä graafina Malliin saadaan T aikasiivua toistamalla B → :ta Yksinkertainen esimerkki: X t-1 Y t-1 YtYt XtXt (b) B → X1X1 Y1Y1 (a) B 1

9 S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 29 – Janne Ojanen Optimointiopin seminaari - Syksy 2005 9 Dynaaminen Bayesverkko – rakenne Kuten tavallisissa Bayesverkoissa, siirtymä- ja havaintotodennäköisyydet saadaan kaavalla P(Z t | Z t-1 ) = ∏ N i=1 P(Z t i |Pa(Z t i )) –Z t i on i:s solmu (joko tila- tai havaintomuuttuja) ajanhetkellä t –Pa(Z t i ) ovat Z t i :n vanhemmat graafissa T-siivuisen N-muuttujaisen verkon yhteisjakauma saadaan kertomalla malliin liittyvät ehdolliset todennäköisyydet: P(Z 1:T ) = ∏ N i=1 P B1 (Z 1 i |Pa(Z 1 i ))  ∏ T t=2 ∏ N i=1 P B→ (Z t i |Pa(Z t i )) Rakenteellisesti tässä ei ole mitään eroa tavallisiin Bayesverkkoihin! LähtötilaAikakehitys

10 S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 29 – Janne Ojanen Optimointiopin seminaari - Syksy 2005 10 Dynaaminen Bayesverkko – tuttu esimerkki Edellisen kalvon dynaaminen verkko avattuna T=4 aikasiivuun. Tässä tapauksessa Z t 1 = X t, Z t 2 = Y t, Pa(X t ) = X t-1 ja Pa(Y t ) = X t Yhteisjakauma P(X 1:T, Y 1:T ) = P(X 1 )P(Y 1 |X 1 )  ∏ T t=2 P(X t |X t-1 )P(Y t |X t ) X2X2 Y2Y2 Y3Y3 X3X3 X1X1 Y1Y1 X4X4 Y4Y4

11 S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 29 – Janne Ojanen Optimointiopin seminaari - Syksy 2005 11 Esimerkki 1 DBV, jossa –Yksi diskreetti tilamuuttuja X t  {1,…,M} –Yksi diskreetti havaintomuuttuja Y t  {1,…,K} Priori on multinomijakauma: P(X 1 = i) =  i (  i =1) Tilasiirtymät stokastisen matriisin avulla: P(X t = j | X t-1 = i) = A(i,j) –Jokainen A:n rivi on ehdollinen multinomijakauma. Diskreetit havainnot myös ehdollisina multinomijakaumina: P(Y t = j | X t = i) = B(i,j)

12 S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 29 – Janne Ojanen Optimointiopin seminaari - Syksy 2005 12 Esimerkki 1: HMM Kyseessä on hidden Markov model. Esim. 4 tilaa: matriisin A määräämät tilasiirtymät esitetään usein graafisesti kuten oikealla. Älä sotke graafisen mallin esitysasuun! Kussakin ajanhetkessä ”emittoidaan” havainto matriisin B mukaisesti. 1 2 3 4 A = 0 0.2 0.8 0 0 0.6 0 0.4 0.5 0.5 0 0 0.8 0.2 0 0

13 S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 29 – Janne Ojanen Optimointiopin seminaari - Syksy 2005 13 Esimerkki 1 esitettynä dynaamisena Bayesverkkona Edellisen kalvon HMM dynaamisena Bayesverkkona, kun T=3. Katkoviivat kertovat eksplisiittisesti eri muuttujiin liittyvistä jakaumista X1X1 Y1Y1 Y2Y2 X2X2 X3X3 Y3Y3 B  A

14 S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 29 – Janne Ojanen Optimointiopin seminaari - Syksy 2005 14 Esimerkki 2 DBV, jossa –Yksi vektoriarvoinen jatkuva tilamuuttuja, X t  R N –Yksi vektoriarvoinen jatkuva havaintomuuttuja, Y t  R M Ehdolliset jakaumat ovat nyt normaalijakaumia: –P(X t =x t |X t-1 =x t-1 ) = N(x t ; Ax t-1, Q) –P(Y t =y|X t =x) = N(y t ; Bx, R) –A ja Q N  N-matriiseja, B M  N-matriisi ja R M  N- matriisi.

15 S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 29 – Janne Ojanen Optimointiopin seminaari - Syksy 2005 15 Esimerkki 2: Kalman-suodinmalli Kyseessä on Kalman-suodinmalli (a.k.a. tila- avaruusmalli, lineaarinen dynaaminen systeemi, jne.) Toisin sanoen: –X t = AX t-1 + V t, jossa V t ~ N(0,Q) normaalijakautunut kohinatermi. Kovarianssimatriisi Q on prosessikohina. –Y t = BX t + W t, jossa W t ~ N(0,R) normaalijakautunut kohinatermi. Kovarianssimatriisi R on mittauskohina. Tämän mallin graafirakenne on täysin sama kuin HMM-esimerkissä; ainoastaan jakaumat ovat vaihtuneet.

16 S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 29 – Janne Ojanen Optimointiopin seminaari - Syksy 2005 16 Miksi dynaamiset Bayesverkot? Vaikka rakenne onkin samanlainen kuin tavallisessa Bayesverkossa, mahdollistavat dynaamisille Bayesverkoille kehitetyt laskennalliset menetelmät pitkienkin toistomallien järkevän käsittelyn. Dynaaminen Bayesverkko ei sisällä lähtökohtaisesti samoja rajoitteita kuin KSM tai HMM. Yleisluontoinen esitys mahdollistaa erilaisten mallirakenteiden käsittelyn samalla kielellä ja samoin menetelmin. –Esim. eri tilanteisiin soveltuvia HMM-rakenteita on kymmeniä. DBV-kuvauksen kautta kaikki voidaan ratkaista samoin periaattein.

17 S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 29 – Janne Ojanen Optimointiopin seminaari - Syksy 2005 17 Yhteenveto Tila-avaruusmallit soveltuvat dynaamisten systeemien kuvaukseen. Dynaaminen Bayesverkko on tavallisen Bayesverkon yleistys, joka kykenee mallintamaan dynaamista systeemiä. Dynaaminen Bayesverkko voidaan ajatella myös melko yleisenä tila-avaruusmallin kuvauskielenä, joka mahdollistaa useiden mallivariaatioiden käsittelyn samoin menetelmin ja algoritmein.

18 S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 29 – Janne Ojanen Optimointiopin seminaari - Syksy 2005 18 Kotitehtävä a) Miten kalvojen 11-13 HMM-mallia pitää muuttaa, jos halutaan havainnot Y t normaalijakautuneiksi? b) Entä miten mallin rakennetta pitää muokata, jos havaintojen jakaumaksi halutaan useamman normaalijakauman painotettu sekamalli (mixture of Gaussians): P(Y t |X t = i) =  m P(M t =m|X t = i) N(y t ;  m,C m )


Lataa ppt "S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 29 – Janne Ojanen Optimointiopin seminaari - Syksy 2005 1 Dynaamiset Bayesverkot Osa 1."

Samankaltaiset esitykset


Iklan oleh Google