S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 2 - Jirka Poropudas Optimointiopin seminaari - Kevät 2005 / 1 Bayes-verkoista s Jirka Poropudas

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 2 - Jirka Poropudas Optimointiopin seminaari - Kevät 2005 / 2 Sisältö Bayes-verkon määritelmä ketjusääntö d-erotus Bayes-verkoille evidenssin esittäminen Bayes-verkoissa ”sanko-eliminointi” (Bucket elimination)

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 2 - Jirka Poropudas Optimointiopin seminaari - Kevät 2005 / 3 Bayes-verkon määritelmä (1/2) Bayes-verkon rakenne on seuraava –muuttujien joukko ja muuttujia yhdistävät suunnalliset kaaret –jokaisella muuttujalla äärellinen määrä toisensa poissulkevia tiloja –muuttujat ja kaaret muodostavat suunnatun ei- syklisen verkon (DAG = directed acyclical graph), jossa ei ole polkua A 1 →... →A n s.e. A 1 =A n

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 2 - Jirka Poropudas Optimointiopin seminaari - Kevät 2005 / 4 Bayes-verkon määritelmä (2/2) jokaiselle muuttujalle A, jonka vanhemmat ovat B 1,...,B n, on määritelty ehdollinen potentiaalitaulukko P(A|B 1,...,B n ) jos muuttujalla ei ole vanhempia, potentiaalitaulukko on P(A) eli graafin juurille määritellään a priori- todennäköisyysjakaumat

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 2 - Jirka Poropudas Optimointiopin seminaari - Kevät 2005 / 5 Esimerkki 1 kuvan Bayes-verkon määrittelemiseksi on asetettava todennäköisyydet P(A), P(B), P(C|A,B), P(E|C), P(D|C), P(F|E) ja P(G|E,D,F) A C F E G D B

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 2 - Jirka Poropudas Optimointiopin seminaari - Kevät 2005 / 6 Lause 1.1: ”Ketjusääntö” olk. U={A 1,...,A n } verkon muuttuja-avaruus muuttujien potentiaalitaulukko P(U)=P(A 1,...,A n ) kasvaa eksponentiaalisesti muuttujien lkm:n kasvaessa Bayes-verkoille kuitenkin pätee: P(U)=∏ i P(A i |pa(A i )), missä pa(A i ) on A i :n vanhempien joukko

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 2 - Jirka Poropudas Optimointiopin seminaari - Kevät 2005 / 7 Ketjusäännön todistus (1/3) todistetaan lause induktiolla muuttuja-avaruudelle U, jossa on n muuttujaa olkoon A muuttuja, jolla ei ole lapsia jos U={A}, todistus on triviaali: P(U)=P(A) A

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 2 - Jirka Poropudas Optimointiopin seminaari - Kevät 2005 / 8 Ketjusäännön todistus (2/3) oletetaan, että ketjusääntö pätee U\{A}:lle eli P(U\{A}) on em. todennäköisyyksien tulo lukuunottamatta P(A|pa(A)):ta tällöin perussäännöstä seuraa P(U)=P(A|U\{A})P(U\{A}) A

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 2 - Jirka Poropudas Optimointiopin seminaari - Kevät 2005 / 9 Ketjusäännön todistus (3/3) A on d-erillään U\({A}  pa(A)):sta ehdolla pa(A) => P(A|U\{A})= P(A|pa(A)) yhteisjakaumaksi saadaan tällöin P(U)= P(A|U\{A})P(U\{A})= P(A|pa(A))P(U\{A}), mistä seuraa väite A pa(A )

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 2 - Jirka Poropudas Optimointiopin seminaari - Kevät 2005 / 10 Esimerkki 2 ketjusääntö: P(U)=∏ i P(A i |pa(A i )) kuvan Bayes-verkon muuttujien yhteisjakauma on P(U)=P(G|D,E,F)P(F|E)P(D|C)P(E|C)P(C|A,B)P(B)P(A) A C F E G D B

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 2 - Jirka Poropudas Optimointiopin seminaari - Kevät 2005 / 11 D-erotus (1/3) Bayes-verkot + ketjusääntö → d-erotus toteutuu tarkastellaan muutamaa esimerkkiä –sarjaankytkentä –yhdistyvä kytkentä ABC AB C

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 2 - Jirka Poropudas Optimointiopin seminaari - Kevät 2005 / 12 D-erotus (2/3) sarjaankytkennälle pätee: P(C|A,B)=P(C|B), sillä –ketjusääntö: P(A,B,C)=P(A)P(B|A)P(C|B) = P(A,B)P(C|B) P(C|A,B)=P(A,B,C)/P(A,B) =P(A,B)P(C|B)/P(A,B)=P(C|B) näin ollen A ja C ovat d-erillään ehdolla B ABC

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 2 - Jirka Poropudas Optimointiopin seminaari - Kevät 2005 / 13 D-erotus (3/3) yhdistyvälle kytkennälle pätee: P(A,B)=P(A)P(B), sillä –ketjusääntö: P(A,B,C)=P(A)P(B)P(C|A,B) P(A,B)=  c [P(A,B,C)] =P(A)P(B)  c [P(C|A,B)]=P(A)P(B), sillä C:n marginalisointi johtaa taulukolliseen ykkösiä AB C

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 2 - Jirka Poropudas Optimointiopin seminaari - Kevät 2005 / 14 Evidenssi olk. A muuttuja, jolla on n tilaa, A:n jakauma P(A)=(x 1,...,x n ) oletetaan, että saadaan evidenssi e =”vain tilat i ja j ovat mahdollisia” => P(A,e)=(0,...,x i,0,...,0,x j,...,0) havainto (finding) e on evidenssiä e vastaava n- ulotteinen vektori nollia ja ykkösiä –ykköset vastaavat yhä mahdollisia tiloja –nollat ovat tiloja, joissa A ei ainakaan ole edellä siis P(A,e) saadaan kertomalla P(A) alkioittain vektorilla e, jonka i. ja j. alkio ovat ykkösiä ja muut nollia: P(A,e)=P(A)·e

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 2 - Jirka Poropudas Optimointiopin seminaari - Kevät 2005 / 15 Lause 1.2. olkoon U muuttuja-avaruus ja e 1,...,e n havaintoja tällöin: ehdolliset todennäköisyydet muuttujille A  U P(e) saadaan marginalisoimalla kaikki muuttujat yhteisjakaumasta P(e)=  U P(U,e)

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 2 - Jirka Poropudas Optimointiopin seminaari - Kevät 2005 / 16 Sanko-eliminointi (1/4) eli kuinka käytännön laskuissa sivuutetaan valtaisien taulukoiden pyörittely olkoon kuvan Bayes-verkon muuttujilla kymmenen tilaa kullakin, jolloin P(U):ssa on 10 7 alkiota oletetaan, että on saatu evidenssi e={D=d,F=f} (pos. alkioiden lkm. laskee 10 5 :een) halutaan laskea P(A|e), miten saadaan laskettua P(A,e)? A C F G D B H

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 2 - Jirka Poropudas Optimointiopin seminaari - Kevät 2005 / 17 Sanko-eliminointi (2/4) P(U,e)=P(A,B,C,d,f,G,H) =P(A)P(H)P(B|A,H)P(C|A)P(d|B,H)P(f|B,C)P(G|C) P(d|B,H) tarkoittaa taulukkoa muuttujien B ja H yli, jossa D on ilmentynyt arvolle d eli muiden D:n arvojen tn:t ovat nollia P(A,e):n ratkaisemiseksi marginalisoidaan muuttujat B,C,G ja H pois eo. yhteisjakaumasta marginalisointijärjestys on vapaa

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 2 - Jirka Poropudas Optimointiopin seminaari - Kevät 2005 / 18 Sanko-eliminointi (3/4) marginalisoidaan ensin G: P(A,B,C,d,f,H)=  G P(A,B,C,d,f,G,H) =P(A)P(H)P(B|A,H)P(C|A)P(d|B,H)P(f|B,C)  G P(G|C) = P(A)P(H)P(B|A,H)P(C|A)P(d|B,H)P(f|B,C), sillä  G P(G|C) on taulukollinen ykkösiä

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 2 - Jirka Poropudas Optimointiopin seminaari - Kevät 2005 / 19 Sanko-eliminointi (4/4) marginalisoidaan seuraavaksi: P(A,B,C,d,f)=  H P(A,B,C,d,f,H) = P(A) P(C|A) P(f|B,C)  H P(H)P(B|A,H) P(d|B,H) kerrotaan keskenään P(H), P(B|A,H) ja P(d|B,H), jolloin H:n yli summauksella saadaan T(B,A) P(A,B,C,d,f)= P(A) P(C|A) P(f|B,C)T(B,A), josta voidaan marginalisoida vielä B ja C pois missään vaiheessa ei lasketa yli kolmen muuttujan taulukoilla (kerralla ei enempää kuin 10 3 alkiota)

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 2 - Jirka Poropudas Optimointiopin seminaari - Kevät 2005 / 20 Kotitehtävä (1/2) ”Hra Holmes saa työpaikalleen puhelun, jonka mukaan hänen kotinsa varashälytin on päällä. Hän lähtee välittömästi autolla kotiinsa, mutta kuulee matkalla radiosta, että alueella on sattunut pieni maanjäristys. Koska maanjäristykset saattavat laukaista varashälyttimen, hra Holmes tekee U- käännöksen ja palaa töihin.”

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 2 - Jirka Poropudas Optimointiopin seminaari - Kevät 2005 / 21 Kotitehtävä (2/2) kuvaa hra Holmesin päättelyä sopivalla yksinkertaisella Bayes-verkolla arvioi malliin sopivat todennäköisyys- jakaumat laske mallilla todennäköisyydet, joihin hra Holmesin päättely perustui kirjoita lyhyt selostus analyysistasi ja palauta se keskiviikkona 28.9.