S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 27 – Tommi Kauppinen Optimointiopin seminaari - Syksy 2005 / 1 Oppiminen Bayes-verkoissa D. Heckerman. A Tutorial on Learning with Bayesian Networks. In Learning in Graphical Models, M. Jordan, ed.. MIT Press, Cambridge, MA, NIPS 2001 Tutorial: Learning Bayesian Networks From Data. Nir Friedman and Daphne Koller Tommi Kauppinen ja Tuukka Sarvi

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 27 – Tommi Kauppinen Optimointiopin seminaari - Syksy 2005 / 2 Sisältö 1.Johdanto 1.Oppiminen ja Bayesverkot 2.Oppiminen 1.Täydellinen data ja tunnettu rakenne 1.Ensimmäinen kotitehtävä 2.Rakenteen oppiminen 3.Epätäydellinen data 3.Yhteenveto 1.Toinen kotitehtävä

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 27 – Tommi Kauppinen Optimointiopin seminaari - Syksy 2005 / 3 Johdanto: Oppivat Bayes-verkot Uusi tutkimusala – tutkimusta tehty luvusta lähtien Bayes-verkot pärjäävät jo nyt erittäin hyvin vertailussa muiden oppivien järjestelmien kanssa Paljon ratkaisemattomia kysymyksiä, eli suuri potentiaali

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 27 – Tommi Kauppinen Optimointiopin seminaari - Syksy 2005 / 4 Miksi oppimista tarvitaan Bayes-verkoissa? Mallin luonti ”ad hoc” usein vaikeaa Asiantuntijalausunnot usein kalliita ja ristiriitaisia Data on halpaa Malli päivitettävissä helposti uusiin tilanteisiin – oppiminen myös rakenteille mahdollista Reagointi uusiin tilanteisiin (vrt. MS-Officen klemmari) Datan perusteella opetettu Bayes-verkko antaa aitoa tietoa muuttujien välisistä syy-seuraus-suhteista (enemmän kuin korrelaatio)

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 27 – Tommi Kauppinen Optimointiopin seminaari - Syksy 2005 / 5 Käsitteitä ”Oppiminen on mallin päivittämistä vastaamaan uutta tietoa.” A priori (=”ilman kokemusta”) -tieto: Malliin sisältyvä tieto ennen uutta dataa. A posteriori (=”kokemuksen jälkeen”) -tieto: Malliin sisältyvä tieto oppimisen (mallin päivittämisen) jällkeen.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 27 – Tommi Kauppinen Optimointiopin seminaari - Syksy 2005 / 6 A priorin ja a posteriorin todennäköisyystulkinta Klassinen todennäköisyys nojaa a posteriori- todennäköisyyksiin Bayesiläinen todennäköisyys on a priori- todennäköisyys Oppiminen Bayesverkoissa perustuu a priori- tiedon ja kerätyn datan (a posteriori- tiedon) yhdistämiseen (kts. esimerkki)

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 27 – Tommi Kauppinen Optimointiopin seminaari - Syksy 2005 / 7 Oppivan Bayes-verkon synty Kerätty data Tieto muuttujien välisistä yhteyksistä A B C,(yleensä) tunnetuin todennäköisyysjakaumin Oppimisen metodologia Toisin sanoen ”oppija” tai Oppiva järjestelmä

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 27 – Tommi Kauppinen Optimointiopin seminaari - Syksy 2005 / 8 Oppimisen eri tyypit RAKENNE DATA Täydellinen data tunnettu rakenne Täydellinen data tuntematon rakenne Epätäydellinen data tunnettu rakenne Epätäydellinen data tuntematon rakenne Epätäydellien datan ja/tai tuntemattoman rakenteen tapauksissa: - Matematiikka monimutkaistuu - Ratkaisuista tulee tulkinnanvaraisempia - Näihin pohjautuu suurin osa nykyisistä reaalisovelluksista

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 27 – Tommi Kauppinen Optimointiopin seminaari - Syksy 2005 / Täydellinen data ja tunnettu rakenne: Esimerkki Bayes-verkosta

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 27 – Tommi Kauppinen Optimointiopin seminaari - Syksy 2005 / 10 Oppivan Bayes-verkon perusmalli Kerätty dataEnnuste

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 27 – Tommi Kauppinen Optimointiopin seminaari - Syksy 2005 / 11 Oppivan Bayes-verkon perusmalli Tunnettu data D:{X 1 … X M, Y 1 … Y M } Ennuste on X M+1, Y M+1 => Ratkaistavana X M+1 θ x ja θ x|y avulla Kuvasta nähdään: –Täydellinen data => muuttujien (mittaustulosten) arvot ovat riippumattomia => voidaan laskea jokaiselle muuttujalle erikseen

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 27 – Tommi Kauppinen Optimointiopin seminaari - Syksy 2005 / 12 Mallin vertailua kts. ”mukauttaminen – adaptation”, Simo Heliövaaran esitelmä numero 8 tyyppimuuttujan käytöstä. Tyyppimuuttujaa vastaa θ. Kirja sivuuttaa ylimalkaisesti tilastollisesti tarkan metodin θ x ja θ x|y määrittämiseen seuraavassa esimerkissä molemmat

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 27 – Tommi Kauppinen Optimointiopin seminaari - Syksy 2005 / 13 Kolikon heitto- esimerkki Heitetään kolikkoa viisi kertaa, saadaan datajoukko D ={H,H,T,H,H}. Millä todennäköisyydellä seuraava, 6. heitto on myös kruuna (H)?

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 27 – Tommi Kauppinen Optimointiopin seminaari - Syksy 2005 / 14 Kolikon heitto- esimerkki Lasketaan arvot ensin käyttäen murtolukupäivitystä. Meillä on arvot,missä ja ovat saatujen tulosten lukumäärä, ja s on otosjoukon koko. Niinpä Saadaan

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 27 – Tommi Kauppinen Optimointiopin seminaari - Syksy 2005 / 15 Jakaumilla laskemisen edut Em. ”tilastollisesti tarkka metodi” on jakaumiin pohjautuva ratkaisu –Jatkuva TN- jakauma, reaalimaailman ilmiöt jatkuvia Tehokkaampi oppiminen –Säilyttää enemmän informaatiota Esim. todennäköisyysjakauman varianssi –Paremmat estimaatit todennäköisyyksille odotusarvon kautta

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 27 – Tommi Kauppinen Optimointiopin seminaari - Syksy 2005 / 16 Kolikon heitto- esimerkki Murtolukupäivityksen lisäksi voimme ratkaista tehtävän olettamalla datan binomijakautuneeksi Tällöin voidaan merkitä, missä θ x on prioritodennäköisyys sille, että kolikonheitosta saadaan kruuna.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 27 – Tommi Kauppinen Optimointiopin seminaari - Syksy 2005 / 17 Kolikon heitto- esimerkki Ratkaistaan nyt

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 27 – Tommi Kauppinen Optimointiopin seminaari - Syksy 2005 / 18 Esimerkin selvennyksiä Todennäköisyyden tulkinnasta: Emme ratkaise kolikon todennäköisyyttä päätyä kruunaksi. Sen sijaan päivitämme (a posteriori- ja a priori tiedon yhdistelynä saamaamme) todennäköisyysjakaumaa sille muuttujalle, joka kuvaa kruunan fysikaalista todennäköisyyttä.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 27 – Tommi Kauppinen Optimointiopin seminaari - Syksy 2005 / 19 Oppiva prosessi Katsotaan kuvaa em. Bayes-verkosta –Edellä esitetyllä tavalla voidaan ratkaista (θ x :n avulla) todennäköisyys X M+1 eri vaihtoehdoille –Samoin voidaan ratkaista myös Y M+1 θ x|y :n avulla kun M kasvaa, ennuste tarkentuu => ”oppia” Teknisesti vaikeammat tapaukset ratkaistaan yleensä Dirichlet’n jakaumina.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 27 – Tommi Kauppinen Optimointiopin seminaari - Syksy 2005 / 20 Kotitehtävä Heitetään nastaa lattialle. Viidellä heitosta saadaan datajoukko D ={H,H,T,H,T}, missä T kuvaa nastan jäämistä pystyyn. Laske tilastollisesti tarkalla metodilla odotusarvo sille muuttujalle, joka kuvaa nastan kumolleen jäämisen (H) fysikaalista todennäköisyyttä.