S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 30 - Aatu Kaapro Optimointiopin seminaari - Syksy 2005 / 1 Dynaamiset Bayes-verkot Osa 2 Aatu Kaapro Janne Ojanen

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 30 - Aatu Kaapro Optimointiopin seminaari - Syksy 2005 / 2 Sisältö Oppiminen Päättely Applikaatioita Yhteenveto Lähteet Kotitehtävä

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 30 - Aatu Kaapro Optimointiopin seminaari - Syksy 2005 / 3 Oppimisesta Tässä esityksessä oppimisella tarkoitetaan parametrien estimointia ja mallin valintaa. Dynaamisten Bayes-verkkojen parametrien ja rakenteen oppiminen tehdään pääasiassa samoilla tekniikoilla kuin staattisten verkkojen tapauksessa.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 30 - Aatu Kaapro Optimointiopin seminaari - Syksy 2005 / 4 Oppiminen eri tilanteissa Frekventistisessä oppimisessa ollaan kiinnostuttu yhdestä parhaasta mahdollisesta parametrin arvosta tai mallista. Parametrien tapauksessa kyseeseen tulee joko maximum likelihood (ML) tai maximum a posteriori (MAP) estimaatti. Rakenteen tapauksessa kyseeseen tulee MAP estimaatti sillä ML estimaatti olisi täysin kytketty verkko. Bayesilaisessa oppimisessa pyritään oppimaan parametrien tai mallien jakauma.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 30 - Aatu Kaapro Optimointiopin seminaari - Syksy 2005 / 5 Parametrien oppiminen Koska mallin jakaumien parametrit eivät muutu ajan myötä, parametrien oppiminen tehdään täsmälleen samoin kuin staattisten Bayes-verkkojen tapauksessa. Parametrit θ 0 jakaumille P(X 1 ) yleensä käsitetään esittämään dynaamisen systeemin alkutilaa. Jos oletetaan että käytössä on S kappaletta riippumattomia aikasarjoja pituudeltaan T aika- askelta, on alkutilan estimoimiseen tällöin käytössä S näytettä ja loppujen jakaumien parametrien estimointiin S(T-1) näytettä.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 30 - Aatu Kaapro Optimointiopin seminaari - Syksy 2005 / 6 Rakenteen oppiminen Tuntemattoman rakenteen tapauksessa pitää aikasiivun sisäisen rakenteen lisäksi oppia aikasiivujen välisiä riippuvuuksia. Helpointa on käyttää asiantuntija- tai kausaalitietoa. Muussa tapauksessa kyseessä on muuttujien valintaongelma, johon on täydellisen datan tilanteessa useita käyttökelpoisia algoritmeja. Ongelmana on siis valita n:stä muuttujasta k < n kappaletta muuttujia, jotka antavat parhaan tuloksen jonkin virhemitan mielessä. Epätäydellisen datan tilanteessa oppiminen käy laskennallisesti huomattavasti raskaammaksi, koska joudutaan turvautumaan erilaisiin EM-algoritmin laajennuksiin.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 30 - Aatu Kaapro Optimointiopin seminaari - Syksy 2005 / 7 Mitä datasta voidaan oppia? Observationaalisesta datasta voidaan oppia mallin verkkorakenteen ekvivalenssiluokka (suuntaamattomat kaaret ja v-rakenteet). Kaarien suuntien oppiminen edellyttää yleensä interventioita tutkittavaan systeemiin tai aikasarjadataa. Mallin tulkinta kausaalimalliksi edellyttää lisäoletuksia...

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 30 - Aatu Kaapro Optimointiopin seminaari - Syksy 2005 / 8 Päättely (Inference) Päättelyn tavoitteena on laskea kiinnostuksen kohteena olevan muuttujan marginaalijakauma Dynaamisten Bayes-verkkojen inferenssimenetelmät käyttävät alirutiineina staattisten Bayes-verkkojen menetelmiä. Näitä käsiteltiin Finn Jensenin erinomaisen kirjan kappaleessa 5: Belief Updating in Bayesian Networks Dynaamisten mallien tapauksessa mahdollisia päättelyongelmia on useita: t = τ : Suodatus (Filtering) t > τ : Ennustaminen (Prediction) t < τ : Tasoitus (Smoothing)

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 30 - Aatu Kaapro Optimointiopin seminaari - Syksy 2005 / 9 Päättely (Inference) Diskreeteille tila-avaruusmalleille tarkka analyyttinen inferenssi on aina teoriassa mahdollista, mutta saattaa olla laskennallisesti mahdotonta. Diskreettitilainen DBN voidaan muuttaa hidden Markov malliksi ja suorittaa päättely sille sopivilla algoritmeilla. DBN voidaan myös rullata auki ja käyttää staattisille Bayesverkoille sopivia algoritmeja, kuten aikaisemmin käsitelty liitospuumenetelmä ja muuttujien eliminointi. Dynaamisille Bayes-verkoille löytyy myös niitä varta vasten kehitettyjä algoritmeja.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 30 - Aatu Kaapro Optimointiopin seminaari - Syksy 2005 / 10 Approksimoitu inferenssi Laajojen diskreettien dynaamisten Bayes-verkkojen tarkka inferenssi on yleensä mahdotonta. Vastaavasti jos malli sisältää epälineaarisuuksia tai ei-Gaussisia jatkuvia jakaumia ei tarkka inferenssi myöskään yleensä onnistu. Ongelmaan voidaan käyttää deterministisiä approksimoivia algoritmejä. Toinen vaihtoehto on käyttää stokastisia otantamenetelmiä, jotka ovat yleensä helppo toteuttaa ja toimivat kaikenlaisilla malleilla.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 30 - Aatu Kaapro Optimointiopin seminaari - Syksy 2005 / 11 Mihin tehtäviin DBN soveltuu? Oppiminen Päättely Dekoodaus Karsinta (pruning) Luokittelu

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 30 - Aatu Kaapro Optimointiopin seminaari - Syksy 2005 / 12 Applikaatioita Dynaamisia Bayes-verkkoja on käytetty mm: –Seurantaan (tracking) –Aivokäyttöliittymät (Brain-Computer Interfaces) –Puheentunnistus –Bioinformatiikassa geenisäätelyverkkojen mallinnus

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 30 - Aatu Kaapro Optimointiopin seminaari - Syksy 2005 / 13 Geenisäätelyverkot Viime vuosina eräs suosituimmista sovelluksista dynaamisille Bayes-verkoille on ollut geenisäätelyverkkojen mallinnus. Mallissa solmut vastaavat geenejä ja kaaret niiden välisiä riippuvaisuuksia, jotka haluttaisiin tulkita säätelysuhteiksi. Mallin rakentamiseen käytetään yleensä DNA mikrosirudataa, joka kertoo geenien suhteellisesta aktiivisuudesta eri ajanhetkinä. Ekspressiodatan huonohkon laadun ja kohinaisuuden (sekä huonon ongelmanasettelun) takia mallinnuksessa käytetään yleensä avuksi muita informaatiolähteitä, kuten tietokantoja tunnetuista säätelysuhteistä, sekvenssidataa, proteiinien interaktiodataa.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 30 - Aatu Kaapro Optimointiopin seminaari - Syksy 2005 / 14 Yhteenveto Dynaamisten Bayes-verkkojen oppiminen on hyvin samankaltaista staattiseen tapaukseen verrattuna. Erilaisia menetelmiä on paljon ja käytettävää menetelmää kannattaa harkita tapauskohtaisesti. Päättelyn tavoitteena on laskea kiinnostuksen kohteena olevan muuttujan marginaalijakauma. Käytettävät menetelmät pohjautuvat staattisten verkkojen menetelmiin. Dynaamisen verkon koosta johtuen joudutaan usein turvautumaan approksimatiivisiin menetelmiin. Dynaaminen Bayes-verkko soveltuu myös muuhun tarkoitukseen kuten luokittelunn, dekoodaukseen ja karsintaan. Sovellusalueita on monia. Yleisesti kaikkeen mihin tila- avaruusmallit sopivat on kokeiltu dynaamisia Bayes-verkkoja.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 30 - Aatu Kaapro Optimointiopin seminaari - Syksy 2005 / 15 Lähteet Kevin Murphy : Dynamic Bayesian Networks: Representation, Inference and Learning, 2002 Kevin Murphy : Dynamic Bayesian Networks, 2002 Zoubin Ghahramani : Learning Dynamic Bayesian Networks, 1998 Mihajlovic, Petkovic : Dynamic Bayesian Networks: A state of the art, 2001 Kevin Murphy, Saira Mian : Modelling Gene Expression Data using Dynamic Bayesian Networks, 1999 Judea Pearl : Causality, 2000 Google

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 30 - Aatu Kaapro Optimointiopin seminaari - Syksy 2005 / 16 Kotitehtävä Kuvaile lyhyesti structural-Expectation Maximization algoritmin toimintaa, sen vaiheita ja miten se poikkeaa tavallisesta EM- algoritmista. Miten menetelmää pitää laajentaa dynaamisten Bayes-verkkojen tapauksessa? Mainitse joitain menetelmän huonoja puolia / heikkouksia.