S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 21 – Osmo Salomaa Optimointiopin seminaari - Syksy 2005 / 1 Kolmioimattomat määrittelyalueverkot ja stokastinen simulointi s. 182 – 192 Osmo Salomaa

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 21 – Osmo Salomaa Optimointiopin seminaari - Syksy 2005 / 1 Sisältö 1.Kolmioimattomat määrittelyalueverkot Verkkojen kolmiointi Aikaleimattujen mallien kolmiointi 2.Stokastinen simulointi Eteenpäin otanta Gibbsin otanta 3.Kotitehtävä

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 21 – Osmo Salomaa Optimointiopin seminaari - Syksy 2005 / 1 Kolmioimattomat määrittelyalueverkot Kolmioimaton verkko voidaan muuttaa kolmioiduksi ja käyttää hyväksi kolmioidun verkon risteyspuuta. Perustelu: Kolmiointi lisää verkon todennäköisyysjakaumien joukkoa sisältäen edelleen alkuperäisen verkon todennäköisyysjakaumien joukon. Vertaa moralisointiin.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 21 – Osmo Salomaa Optimointiopin seminaari - Syksy 2005 / 1 Esimerkki 1 (verkot) Bayesverkko (a), moralisoitu verkko (b) ja kolmioitu verkko (c) ABC DE FG HIJ ABC DE FG HIJ ABC DE FG HIJ (a)(b)(c)

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 21 – Osmo Salomaa Optimointiopin seminaari - Syksy 2005 / 1 Parhaan eliminointijärjestyksen etsintä Eliminaatiojärjestyksiä useita ja monet niistä tuottavat erilaisia kolmioituja verkkoja. Määritelmä: Olkoon V joukko muuttujia. Kaikilla X, jotka kuuluu V:hen, merkitään tilojen lukumäärää n(X):llä. Tällöin V:n koko on

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 21 – Osmo Salomaa Optimointiopin seminaari - Syksy 2005 / 1 Parhaan eliminointijärjestyksen etsintä heuristisesti Koko verkon koon minimoivan eliminointijärjestyksen etsintä on hankalaa. Heuristiikka: Eliminoi toistuvasti yksikertaisia solmuja ja jos se ei ole mahdollista, niin eliminoi solmu, jolla pienin perheen koko sz(F X ).

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 21 – Osmo Salomaa Optimointiopin seminaari - Syksy 2005 / 1 Esimerkki 1 (heuristinen kolmiointi) 1.Lasketaan perheiden koot → sz(F B ) pienin → Eliminoidaan B → Lisätään täytelinkki D-E 2.Lasketaan perheiden koot → sz(F D ) pienin → Eliminoidaan D → Lisätään täytelinkki F-E B DE FG Lopputuloksen saadaan kolmioitu verkko. DE FG 45 67

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 21 – Osmo Salomaa Optimointiopin seminaari - Syksy 2005 / 1 Propositio 5.6 Olkoon A 1,…, A n verkon G kolmioiva eliminointijärjestys. Olkoon A i ja A j (i < j) ei- naapureita G:ssä. Tällöin eliminointijärjestys tuottaa täytelinkin A i :n ja A j :n välille jos ja vain jos löytyy polku A i :n ja A j :n välille, jonka kaikki välisolmut eliminoidaan ennen A i :tä.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 21 – Osmo Salomaa Optimointiopin seminaari - Syksy 2005 / 1 Aikaleimattujen mallien kolmiointi Käsitellään siirtämällä informaatiota yhdestä aikahetkestä toiseen –Eteenpäin siirto: potentiaali siirtyy hetkestä i hetkeen i+1 (ennustus). –Taaksepäin siirto: potentiaali siirtyy hetkestä i hetkeen i-1 (menneisyyden tutkinta).

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 21 – Osmo Salomaa Optimointiopin seminaari - Syksy 2005 / 1 Esimerkki 2 (kompakti verkko) ABCDE n Aikaleimattu malli

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 21 – Osmo Salomaa Optimointiopin seminaari - Syksy 2005 / 1 Esimerkki 2 (avattu verkko) Moralisoitu verkko neljällä ajanhetkellä A1A1 B1B1 C1C1 D1D1 E1E1 A2A2 B2B2 C2C2 D2D2 E2E2 A3A3 B3B3 C3C3 D3D3 E3E3 A4A4 B4B4 C4C4 D4D4 E4E4

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 21 – Osmo Salomaa Optimointiopin seminaari - Syksy 2005 / 1 Esimerkki 2 (tarkastelu) Tarkastellaan eteenpäin siirtoa. Eliminoidaan kaikki solmut 1:ssä ennen 2:een siirtymistä. Jos kahden 2:n solmun välillä on yhteys 1:n kautta, niin 1:n eliminoinnin jälkeen niiden välillä on täytelinkki (propositio 5.6). Joka aikahetkellä täytelinkkien määrä ja klikkien koko kasvavat.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 21 – Osmo Salomaa Optimointiopin seminaari - Syksy 2005 / 1 Stokastinen simulointi Motivaatio: propagointimenetelmässä kolmioidun verkon klikkien koko voi kasvaa hyvinkin suureksi. Approksimatiivinen menetelmä Kausaalimallilla simuloidaan vaikutusvirtaa Verkon muuttujista otetaan satunnaiskonfiguraatio tarpeeksi monta kertaa

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 21 – Osmo Salomaa Optimointiopin seminaari - Syksy 2005 / 1 Esimerkki 3 (Bayesverkko) A B C D E Kaikilla muuttujilla tilat y ja n

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 21 – Osmo Salomaa Optimointiopin seminaari - Syksy 2005 / 1 Esimerkki 3 (ehdolliset todennäköisyydet) B A yn y0,30,8 n0,70,2 C A yn y0,70,4 n0,30,6 D B yn y0,50,1 n0,50,9 D C yn y(0,9; 0,1)(0,999;0,001) n P(B|A) P(C|A) P(D|B) P(E|C,D) P(A) = (0,4; 0,6)

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 21 – Osmo Salomaa Optimointiopin seminaari - Syksy 2005 / 1 Esimerkki 3 (eteenpäin otanta) Edetään juuresta lehtiin. Generoidaan satunnaisluku tasajakaumasta (0,1). Jos luku on alle P(A) = y, niin A:n tila on y. Generoidaan satunnaisluku tasajakaumasta (0,1). Jos A = y ja luku on alle P(B|A=y) = y, niin B:n tila on y. Jatketaan C:lle, D:lle ja E:lle. Toistetaan m kertaa. Taulukoidaan tulokset. Todennäköisyydet saadaan laskettua taulukosta.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 21 – Osmo Salomaa Optimointiopin seminaari - Syksy 2005 / 1 Esimerkki 3 (eteenpäin otannan tulokset) AB CDE yyyyynynyynnnyynynnnynnn yy yn ny nn Sata konfiguraatiota eteenpäin otannalla

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 21 – Osmo Salomaa Optimointiopin seminaari - Syksy 2005 / 1 Eteenpäin otanta Verkon ei tarvitse olla kolmioitu. Riittää tallentaa muuttujien määrät (ei tarvitse taulukoida). → Alhainen muistivaatimus Jos on saatu evidenssiä, niin simulointi lopetetaan ja otos hylätään, jos sen tulokset on ristiriidassa evidenssit kanssa.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 21 – Osmo Salomaa Optimointiopin seminaari - Syksy 2005 / 1 Eteenpäin otannan ongelmat Alhainen tarkkuus Simulointi vie aikaa Evidenssin huomioiminen –Oletetaan, että esimerkissä 3 on saatu evidenssiä, että B = n ja E = n. –P(B = n, E = n) = 0,00282 –Jotta saadaan sata konfiguraatiota, täytyy tehdä yli stokastista simulaatiota.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 21 – Osmo Salomaa Optimointiopin seminaari - Syksy 2005 / 1 Gibssin otanta Aloitetaan jollain evidenssiin sopivalla konfiguraatiolla. Vaihdetaan vapaiden muuttujien tilaa satunnaislukugeneraattorin avulla kausaalijärjestyksessä. Käydään kaikki vapaat muuttujat läpi. Tuloksena saatua konfiguraatiota käytetään seuraavan kierroksen lähtökohtana.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 21 – Osmo Salomaa Optimointiopin seminaari - Syksy 2005 / 1 Esimerkki 3 (Gibbsin otanta 1) Olkoon B = n ja E = n. Valitaan aloituskonfiguraatioksi ynyyn. Lasketaan A:n todennäköisyysjakauma P(A | B = n, C = y, D = y, E = n) = P(A | B = n, C = y) = … = (0,8; 0,2) Generoidaan satunnaisluku tasajakaumasta (0, 1). Olkoon se 0,456. → A = y.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 21 – Osmo Salomaa Optimointiopin seminaari - Syksy 2005 / 1 Esimerkki 3 (Gibbsin otanta 2) Lasketaan C:n todennäköisyysjakauma P(C | A = y, B = n, D = y, E = n) = P(C | A = y, D = y, E = n) = (0,996; 0,04) Generoidaan satunnaisluku tasajakaumasta (0, 1). Olkoon se 0,555. → C = y. Jatketaan D:lle. Saatakoon D = y.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 21 – Osmo Salomaa Optimointiopin seminaari - Syksy 2005 / 1 Esimerkki 3 (Gibbsin otanta 3) 1. kierroksella saatu konfiguraatio on ynyyn. 1. kierroksen konfiguraation pohjalta aloitetaan 2. kierros. Toistetaan m kertaa. Saadaan m konfiguraatiota, jotka sopivat yhteen evidenssin kanssa.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 21 – Osmo Salomaa Optimointiopin seminaari - Syksy 2005 / 1 Gibssin otannan ongelmat Sopiiko saadut tulokset yhteen todennäköisyysjakauman kanssa? –Jos alkukonfiguraatio on epätodennäköinen, niin välttämättä ei. –Ratkaisu: Hylätään ensimmäiset 5 – 10 % otoksista (”sisäänajo”). Algoritmi jää jumiin konfiguraatioon, josta todennäköisenpään konfiguraation siirtyminen menisi epätodennäköisen konfiguraation kautta. Alkukonfiguraation löytäminen voi olla vaikeaa. Kirjan kappale 5.8.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 21 – Osmo Salomaa Optimointiopin seminaari - Syksy 2005 / 1 Yhteenveto Kolmioimattomat määrittelyalueverkot –Verkko kolmioidaan –Kolmiointi pyritään suorittamaan optimaalisella tavalla. Stokastinen simulointi –Helppo –Approksimatiivinen –Ongelmat tiedostettava.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 21 – Osmo Salomaa Optimointiopin seminaari - Syksy 2005 / 1 Kotitehtävä (1) AB C Tarkastellaan alla olevaa Bayesverkkoa, jossa kaikilla muuttujilla on kaksi tilaa: y ja n. P(A) = (0,5; 0,5) P(B) = (0,5; 0,5) B A yn y (0,1)(1,0) n (0,1) P(C|A,B) = (P(C=y),P(C=n))

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 21 – Osmo Salomaa Optimointiopin seminaari - Syksy 2005 / 1 Kotitehtävä (2) Olkoon evidenssiä C = y. Suorita Gibssin otantaa lähtökonfiguraatiosta, jossa A = y ja B = n. Laske niin monta kierrosta, kuin katsot tarpeelliseksi. Laske tulosten perusteella P(A) ja P(B). Miten tulokset vertautuvat verkon todennäköisyysjakaumiin? Mitä tapahtui?