S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 19 - Heikki Henttu Optimointiopin seminaari - Syksy 2005 / 1 Verkko-teoreettinen esitystapa Graph-Theoretic Representation s Heikki Henttu

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 19 - Heikki Henttu Optimointiopin seminaari - Syksy 2005 / 2 Sisältö 1.Alustus 2.Määrittelyalueverkot (Domain Graphs) 3.Kolmioidut verkot (Triangulated Graphs) 4.Leikkauspuut (Join Trees) 5.Yhteenveto 6.Kotitehtävä

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 19 - Heikki Henttu Optimointiopin seminaari - Syksy 2005 / 3 Sisältö 1.Alustus 2.Määrittelyalueverkot (Domain Graphs) 3.Kolmioidut verkot (Triangulated Graphs) 4.Leikkauspuut (Join Trees) 5.Yhteenveto 6.Kotitehtävä

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 19 - Heikki Henttu Optimointiopin seminaari - Syksy 2005 / 4 Motivointi Todennäköisyyksien tehokas päivitettävyys välttämätöntä, jotta Bayes-verkot olisivat käyttökelpoisia Todennäköisyystaulukoiden koko kasvaa eksponentiaalisesti muuttujien lukumäärän kasvaessa Tarvitaan tehokas algoritmi, jolla laskentaa voidaan tehostaa

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 19 - Heikki Henttu Optimointiopin seminaari - Syksy 2005 / 5 Ongelmanasettelu Pyritään laskemaan marginaalit (ПФ) ↓A i jokaiselle verkon solmulle A i. Ongelma ratkaistaan eliminoimalla verkosta vuoronperään pois kaikki muut solmut; vain A i jää jäljelle Mikä on tehokkain eliminointijärjestys?

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 19 - Heikki Henttu Optimointiopin seminaari - Syksy 2005 / 6 Yleistä aiheesta Tarkastelussa reaalipotentiaalien joukko Ф={ø 1,…,ø m } muuttuja-avaruudessa U={A 1,…,A n }. Määrittelyalueverkko (domain graph) on suunnistamaton verkko, jonka solmuina ovat U ja jonka solmujen väliset linkit kuuluvat reaalipotentiaalien joukkoon Ф Ts. kyseessä on tapa esittää potentiaalien määrittelyjoukko Ф verkolla G. Esiteltäviä keinoja voidaan soveltaa kaikenlaisiin verkkoihin ja erilaisiin tehtäviin, ei pelkästään Bayes- verkkoihin

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 19 - Heikki Henttu Optimointiopin seminaari - Syksy 2005 / 7 Selvitettävänä potentiaalien tulo projisoituna A i :lle, (ПФ) ↓A i. Laskentajärjestys X:n eliminoinnille Ф:stä: 1.Poistetaan kaikki potentiaalit Ф:sta, joiden kannassa X on  jäljelle jää potentiaalijoukko Ф X 2.Lasketaan ø -X = ∑ X ПФ X 3.Lisätään ø -X Ф:n ja Ф:in ja kutsutaan lopputulosta Ф -X Suoritettava laskenta Laskentajärjestys jää ratkaistavaksi – missä järjestyksessä X i kannattaa eliminoida?

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 19 - Heikki Henttu Optimointiopin seminaari - Syksy 2005 / 8 Sisältö 1.Alustus 2.Määrittelyalueverkot (Domain Graphs) 3.Kolmioidut verkot (Triangulated Graphs) 4.Leikkauspuut (Join Trees) 5.Yhteenveto 6.Kotitehtävä

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 19 - Heikki Henttu Optimointiopin seminaari - Syksy 2005 / 9 Tämän graafinen esitystapa on verkko G Selvitettävänä P(A 4 ) – mikä on edullisin A 4 :än päättyvä muuttujien eliminointijärjestys? (ПФ) ↓A 4 ? Haaste: Muuttujan X poisto verkosta edellyttää kaikkien niiden potentiaalien käsittelyä, joiden kannassa X esiintyy  huolimattomasti valittu poistojärjestys aiheuttaa paljon turhaa työtä Esimerkki määrittelyalueverkosta A4A4 A1A1 A6A6 A2A2 A3A3 A5A5 Potentiaalien määrittelyalue Ф: Ф={ø 1 (A 1 ), ø 2 (A 2, A 1 ), ø 3 (A 3, A 1 ), ø 4 (A 4, A 2 ), ø 5 (A 5, A 2, A 3 ), ø 6 (A 6, A 3 )} G

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 19 - Heikki Henttu Optimointiopin seminaari - Syksy 2005 / 10 Potentiaalijoukon Ф määrittelyalueverkkoPotentiaalijoukon Ф -A 3 määrittelyalueverkko A5A5 A2A2 Muuttujan poiston jälkeen kaikki A 3 :n naapurit ovat nyt ristikkäin kytketty ja naapurit ovat toistensa kannoissa Muuttujan eliminointi voi edellyttää uusien linkkien (fill-ins) luomista  tätä halutaan välttää Tehtävää voidaan täsmentää: Tavoitteena on löytää eliminointijärjestys, joka ei luo uusia linkkejä. Esimerkki muuttujan eliminoinnista määrittelyalueverkosta A4A4 A1A1 A6A6 A2A2 A3A3 A5A5 A6A6 A4A4 A1A1 Muuttujan A 3 poisto Notaatio: A 3 poistettu potentiaalien määrittelyalueesta

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 19 - Heikki Henttu Optimointiopin seminaari - Syksy 2005 / 11 Täydellinen eliminointijärjestys Määritelmä: täydellinen eliminointijärjestys on muuttujien poistojärjestys, joka ei vaadi uusien linkkien luomista. A4A4 A1A1 A6A6 A2A2 A3A3 A5A5 Esimerkkiverkolle on olemassa useita täydellisiä järjestyksiä, jotka päättyvät A 4 :än: A 5, A 6, A 3, A 1, A 2, A 4 A 1, A 5, A 6, A 3, A 2, A 4 A 6, A 1, A 3, A 5, A 2, A 4 Eivät edellytä uusien linkkien tekemistä

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 19 - Heikki Henttu Optimointiopin seminaari - Syksy 2005 / 12 Väite 5.2 Olk. X 1,…, X k on täydellinen eliminointijärjestys, ja solmulla X j :llä on täydellinen (linkki kaikkiin solmuihin) naapurijoukko. Tällöin myös X j, X 1,…,X j-1,X j+1,…, X k on täydellinen eliminointijärjestys Tod. X j :n eliminointi ei edellytä täytelinkkien luomista. X 1 :lle ei tällöin synny uusia naapureita, eikä tarvetta uusille täytelinkeille ole. Mikäli X:llä on täydellinen naapurijoukko, X voidaan eliminoida heti aluksi tuhoamatta täydellistä eliminointijärjestystä.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 19 - Heikki Henttu Optimointiopin seminaari - Syksy 2005 / 13 Klikit (cliques) Klikki on täydellinen joukko (kaikki solmut kytketty), joka ei ole minkään toisen täydellisen joukon osajoukko Kaikki täydelliset eliminointijärjestykset tuottavat määrittelyalueverkosta saman klikkijoukon

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 19 - Heikki Henttu Optimointiopin seminaari - Syksy 2005 / 14 Sisältö 1.Alustus 2.Määrittelyalueverkot (Domain Graphs) 3.Kolmioidut verkot (Triangulated Graphs) 4.Leikkauspuut (Join Trees) 5.Yhteenveto 6.Kotitehtävä

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 19 - Heikki Henttu Optimointiopin seminaari - Syksy 2005 / 15 Kolmioitu verkko Määritelmä: Kolmioitu verkko on suunnistamaton verkko, jolle on olemassa täydellinen eliminointijärjestys Ei tekemistä verkon muodon kanssa, vrt. esim. A C B D E A C B D E Täydellinen eliminointijärjestys E- muuttujaan: esim.: D, B, A, C, E - Ei täydellistä eliminointijärjestystä Kolmioitu verkkoEi-kolmioitu verkko

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 19 - Heikki Henttu Optimointiopin seminaari - Syksy 2005 / 16 Merkintätavat Olk. X solmu suunnistamattomassa verkossa X:n naapureita merkitään N X X ja naapurit muodostaa perheen: F X Jos naapurijoukko on täydellinen (suora yhteys kaikkien naapurisolmujen välillä), solmua kutsutaan yksinkertaiseksi (simplicial). AB D X C NXFXNXFX Yksinkertaiset solmut: C, D ja B

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 19 - Heikki Henttu Optimointiopin seminaari - Syksy 2005 / 17 Päätelmä 5.1 Kolmioidussa verkossa jokaiselle muuttujalle A löytyy täydellinen eliminointijärjestys, joka päättyy muuttujaan A.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 19 - Heikki Henttu Optimointiopin seminaari - Syksy 2005 / 18 1.Poistetaan yksinkertainen solmu X. Väite 5.4 (todistettu väitteen 5.2 yhteydessä) takaa, että myös jäljelle jäänyt verkko on kolmioitu 2.Toistetaan kohtaa 1 ja poistetaan kaikki muut solmut lauseen 5.1 nojalla kunnes vain A on jäljellä. Päätelmän 5.1 todistus 1.Väite 5.4: olk. G kolmioitu verkko ja X yksinkertainen solmu. Jos G’ on verkko, joka syntyy kun X eliminoidaan G:stä, G’ on kolmioitu verkko. 2.Lause 5.1: Kolmioitu verkko, jossa on vähintään kaksi solmua, sisältää vähintään kaksi yksinkertainen solmua

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 19 - Heikki Henttu Optimointiopin seminaari - Syksy 2005 / 19 Päätelmän 5.1 merkitys Jos täydellinen eliminointijärjestys on olemassa, mille tahansa muulle muuttujalle voidaan myös löytää vastaava Mahdollista saada optimaalinen marginalisointijärjestys kaikkien P(A) laskemiseksi  tehostaa huomattavasti todennäköisyyksien laskentaa. Käytännön tutustuminen aiheeseen kappaleessa 5.4

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 19 - Heikki Henttu Optimointiopin seminaari - Syksy 2005 / 20 Lause 5.2 Suunnistamaton verkko on kolmioitu, jos ja vain jos kaikki solmut voidaan poistaa eliminoimalla peräkkäin yksinkertainen solmu X. Lauseen avulla voidaan tarkastaa onko verkko kolmioitu vai ei.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 19 - Heikki Henttu Optimointiopin seminaari - Syksy 2005 / 21 Sisältö 1.Alustus 2.Määrittelyalueverkot (Domain Graphs) 3.Kolmioidut verkot (Triangulated Graphs) 4.Leikkauspuut (Join Trees) 5.Yhteenveto 6.Kotitehtävä

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 19 - Heikki Henttu Optimointiopin seminaari - Syksy 2005 / 22 Leikkauspuut Määritelmä: Olk. G joukko klikkejä, jotka voidaan järjestää puuksi T. T on leikkauspuu, jos mille tahansa V, W on koko välillä V, W yhteinen leikkauskohta V ∩ W. BCDE ABCDDEFI BCDG CHGJ BCDE ABCDDEFI BCDG CHGJ Leikkauspuu Kaikille W ja V i löytyy leikkauskohta (solmu tai solmujoukko), joka säilyy koko välin Ei-leikkauspuu Puun solmuilla V ja W ei ole yhteistä leikkauskohtaa, joka säilyisi koko välin V, W  kyseessä ei ole leikkauspuu V W W V1V1 V2V2 V3V3 V4V4

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 19 - Heikki Henttu Optimointiopin seminaari - Syksy 2005 / 23 Ehdot klikeistä ja leikkauspuista 1.Jos suunnistamattoman verkon G klikit pystytään järjestämään leikkauspuuksi, G on kolmioitu. 2.Jos verkko G on kolmioitu, verkon klikeistä voidaan muodostaa leikkauspuu.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 19 - Heikki Henttu Optimointiopin seminaari - Syksy 2005 / 24 Leikkauspuun muodostaminen kolmioidusta verkosta 1.Aloitetaan yksinkertaisesta solmusta X  F X on klikki. 2.Eliminoidaan F X :n solmut, joilla on naapureita vain F X :ssä. 3.Indeksoidaan F X eliminoitujen solmujen määrän mukaan ja nimetään jäljelle jääneiden solmujen joukko S i :ksi  S i on erottaja 4.Valitaan seuraava klikki verkossa ja toistetaan toimenpiteet (siten, että indeksiarvosta i säilyy) 5.Toistetaan rutiinia kunnes kaikki klikit on eliminoitu 6.Yhdistetään klikit V i näitä vastaaviin erottajiin S i 7.Muodostetaan leikkauspuu luomalla linkit erottajien S i ja V j välille siten, että j > i ja S i V j ∩

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 19 - Heikki Henttu Optimointiopin seminaari - Syksy 2005 / 25 Leikkauspuun muodostaminen kolmioidusta verkosta – esimerkki (1/2) AB C HG D E F I J Suoritetaan kohdat 1-6 ABCD V 1 BCD S 1 CGHJ V 5 CG S 5 DEFI V 3 DE S 3 BCDG V 6 BCD S 6 BCDE V 10 Käytetty eliminointijärjestys: A, F, I, H, J, G, B, C, D, E Yksi muuttuja (A) eliminoitu  i saa arvo 1 2 muuttujaa (F, I) eliminoitu  i saa arvo 3 (1+2)

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 19 - Heikki Henttu Optimointiopin seminaari - Syksy 2005 / 26 Leikkauspuun muodostaminen kolmioidusta verkosta – esimerkki (2/2) ABCD V 1 BCD S 1 CGHJ V 5 CG S 5 DEFI V 3 DE S 3 BCDG V 6 BCD S 6 BCDE V Muodostetaan leikkauspuu luomalla linkit erottajien S i ja V j välille siten, että j > i ja S i V j ∩ Suoritetaan kohta 7

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 19 - Heikki Henttu Optimointiopin seminaari - Syksy 2005 / 27 Sisältö 1.Alustus 2.Määrittelyalueverkot (Domain Graphs) 3.Kolmioidut verkot (Triangulated Graphs) 4.Leikkauspuut (Join Trees) 5.Yhteenveto 6.Kotitehtävä

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 19 - Heikki Henttu Optimointiopin seminaari - Syksy 2005 / 28 Yhteenveto Oikea muuttujien eliminointijärjestys on tärkeää tuntea, jotta Bayes-verkkojen laskenta olisi tehokasta Leikkauspuu tarjoaa välineen täydellisten eliminointijärjestysten hahmottamiseen: kaikki täydelliset eliminointijärjestykset voidaan saada poistamalla yksinkertaisia solmuja leikkauspuusta

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 19 - Heikki Henttu Optimointiopin seminaari - Syksy 2005 / 29 Sisältö 1.Alustus 2.Määrittelyalueverkot (Domain Graphs) 3.Kolmioidut verkot (Triangulated Graphs) 4.Leikkauspuut (Join Trees) 5.Yhteenveto 6.Kotitehtävä

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 19 - Heikki Henttu Optimointiopin seminaari - Syksy 2005 / 30 Kotitehtävä (1/2) Avaruuden {A 1, A 2, A 3, A 4, A 5, A 6 } potentiaalit ovat ø 1 (A 1, A 2, A 3 ), ø 2 (A 2, A 3, A 5 ), ø 3 (A 1, A 3, A 4 ), ø 4 (A 5, A 6 ). a)Määritä verkko potentiaalien määrittelyalueelle b)Muodosta täydellinen eliminointijärjestys, joka päättyy A 1 :en.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 19 - Heikki Henttu Optimointiopin seminaari - Syksy 2005 / 31 Kotitehtävä (2/2) c)Onko verkko kolmioitu d)Mitkä ovat verkon yksinkertaiset (simplicial) solmut B C G D E F I