S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 9 - Jaakko Niemi Optimointiopin seminaari - Syksy 2005 / 1 Virittäminen (Tuning) s.93-102.

Esitys aiheesta: "S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 9 - Jaakko Niemi Optimointiopin seminaari - Syksy 2005 / 1 Virittäminen (Tuning) s.93-102."— Esityksen transkriptio:

1 S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 9 - Jaakko Niemi Optimointiopin seminaari - Syksy 2005 / 1 Virittäminen (Tuning) s.93-102

2 S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 9 - Jaakko Niemi Optimointiopin seminaari - Syksy 2005 / 2 Sisältö Mitä on virittäminen? Laskevan gradientin menetelmä (gradient descent method) Parametrien eksplisiittinen mallintaminen Resistanssi

3 S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 9 - Jaakko Niemi Optimointiopin seminaari - Syksy 2005 / 3 Virittäminen (1/3) On bayes-verkko, jossa on evidenssi e Muuttujalle A, x = P(A|e) = (x 1,..., x n ) P(A|e):lle on myös prioriehdotus y = (y 1,..., y n ) Bayes-verkko halutaan virittää siten, että P(A|e) = y

4 S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 9 - Jaakko Niemi Optimointiopin seminaari - Syksy 2005 / 4 Virittäminen (2/3) Virittäminen tapahtuu parametrien t = (t 1,..., t m ) avulla Jos A:lla on n tilaa ja a1 on parametrisoitava tila, niin P(A|π) = (t, (1-t)x 2,..., (1-t)x n ), missä Σx i = 1 Parametrisoitavia tiloja voi olla useita Esim. kaksi parametrisoitavaa tilaa. Tällöin P(A|π) = (t, s, (1-t-s)x 3,..., (1-t-s)x n )

5 S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 9 - Jaakko Niemi Optimointiopin seminaari - Syksy 2005 / 5 Virittäminen (3/3) Parametrit halutaan asettaa siten, että x:n ja y:n välinen etäisyys on mahdollisimman pieni Etäisyyttä voidaan mitata etäisyysmitoilla (kvadraattinen ja logaritminen) Yleensä minimointiongelmaa ei voi ratkaista suoraan

6 S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 9 - Jaakko Niemi Optimointiopin seminaari - Syksy 2005 / 6 Laskevan gradientin menetelmä 1.Laske grad dist(x,y) parametrien t suhteen 2.Määrää t 0 :lle siirtymä ∆t gradientin vastaiseen suuntaan, eli valitse askelkoko α > 0 ja aseta ∆t = - α grad dist(x,y)(t 0 ) 3.Iteroi niin kauan, kunnes gradientti on tarpeeksi lähellä nollaa

7 S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 9 - Jaakko Niemi Optimointiopin seminaari - Syksy 2005 / 7 Etäisyysmittojen gradientit

8 S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 9 - Jaakko Niemi Optimointiopin seminaari - Syksy 2005 / 8 Esimerkki (1/5) C on havaittava muuttaja ja A on kiinnostuksen kohteena oleva muuttuja P(A) = (0.5,0.5) Viritysparametrit ovat t = P(¬a), s = P(¬c| ¬b) ja alkutila t 0 =(0.5,0.4) Priorijakauma P(A|c) = (0.4,0.6) = (y, 1-y) ABC B\Aa¬a b10.3 ¬b00.7 C\Bb¬b c10.6 ¬c00.4

9 S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 9 - Jaakko Niemi Optimointiopin seminaari - Syksy 2005 / 9 Esimerkki (2/5) Taulukosta voidaan laskea x = P(a|c) = 0.58 Lasketaan P(a|c) t:n ja s:n funktiona B\Aa¬a b10.3 ¬b00.7 C\Bb¬b c10.6 ¬c00.4 ABC

10 S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 9 - Jaakko Niemi Optimointiopin seminaari - Syksy 2005 / 10 Esimerkki (3/5)

11 S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 9 - Jaakko Niemi Optimointiopin seminaari - Syksy 2005 / 11 Esimerkki (4/5)

12 S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 9 - Jaakko Niemi Optimointiopin seminaari - Syksy 2005 / 12 Esimerkki (5/5) t 1 = (0.640,0.364); P¹(a|c) = 0.43 Kun prosessi toistetaan saadaan, grad x(t 1 ) = (-1.06,0.23), grad dist Q (x,y) = (-0.13,0.03), t 2 = (0.686,0.358); P²(a|c) = 0.380 t 3 = (0.672,0.361); P³(a|c) = 0.395

13 S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 9 - Jaakko Niemi Optimointiopin seminaari - Syksy 2005 / 13 P(A|e) t:n funktiona Kun t on parametri ja e on evidenssi, P(e) = αt + β Kun a on A:n tila, P(A=a|e)(t) = (αt + β)/(γt + δ) α, β, γ ja δ ovat reaalilukuja Vakiot voidaan määrätä antamalla parametreille eri arvoja ja propagoimalla Esim. P(e):n määräämiseen käytetään kahta eri parametriarvoa t’ ja t’’ ja määrätään x 1 = P(e)(t’) ja x 1 = P(e)(t’’)

14 S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 9 - Jaakko Niemi Optimointiopin seminaari - Syksy 2005 / 14 Parametrien eksplisiittinen mallintaminen (1/3) T B S AC t = P(A=a|π) alkuarvoilla t 0 ja π on pa(A) P(A| π)(t) = (t, (1-t)x 2,..., (1-t)x n ) Annetaan A:lle uusi vanhempi T, jolla on tilat 0 ja 1 ja priorijakauma (1-t 0, t 0 ) Asetetaan, että P*(A|pa(A),T) = P(A|pa(A)), paitsi P*(A| π,T=0) = P(A| π)(0) ja P*(A| π,T=1) = P(A| π)(1)

15 S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 9 - Jaakko Niemi Optimointiopin seminaari - Syksy 2005 / 15 Parametrien eksplisiittinen mallintaminen (2/3) Tällä keinolla alkuperäinen ehdollinen todennäköisyysjakauma muuttuu muotoon P(A | pa(A)) = P*(A | pa(A),T=1)t 0 + P*(A|pa(A),T=0)(1-t 0 ) = ΣP*(A|pa(A),T)P*(T) Kun asetetaan T:n tila nollaksi, se vastaa parametrin t=0 asettamista bayes-verkkoon Vastaavasti sijoitus T=1vastaa parametrin t=1 asettamista bayes-verkkoon

16 S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 9 - Jaakko Niemi Optimointiopin seminaari - Syksy 2005 / 16 Parametrien eksplisiittinen mallintaminen (3/3) Kun BN on bayes-verkko evidenssillä e, BN* on eksplisiittisesti mallinnettu verkko parametreilla t 0, P(e) = P*(e) = y ja P*(T=1|e) = x, niin P(e) = αt + β, jossa

17 S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 9 - Jaakko Niemi Optimointiopin seminaari - Syksy 2005 / 17 Esimerkki 2 (1/3) Mallinnetaan parametrit t = (t,s) eksplisiittisesti t0 = (0.5,0.4), P(c)=0.86, P(T=1|c)=0.4186 ja P(S=1|c)=0.3023 B\Aa¬a b10.3 ¬b00.7 C\Bb¬b c10.6 ¬c00.4 T B S AC

18 S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 9 - Jaakko Niemi Optimointiopin seminaari - Syksy 2005 / 18 Esimerkki 2 (2/3) P(c) = -0.28t + 1 = -0.35s + 1 P(a,c) = -t + 1 = 0s + 0.5 Saadaan P(a|c) = P(a,c)/P(c) = (1-t)/(1-0.28t) = 0.5/(1-0.35s) B\Aa¬a b10.3 ¬b00.7 C\Bb¬b c10.6 ¬c00.4 T B S AC

19 S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 9 - Jaakko Niemi Optimointiopin seminaari - Syksy 2005 / 19 Esimerkki 2 (3/3)

20 S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 9 - Jaakko Niemi Optimointiopin seminaari - Syksy 2005 / 20 Resistanssi Voi olla, että jostain parametreista on varmempaa tietoa kuin toisista. Tällöin parametria, josta on enemmän tietoa kannattaa muuttaa vähemmän Esim. t:n arvosta ollaan paljon varmempia kuin s:n. Voidaan lisätä resistanssimitta (5,1). Kukin komponentti jaetaan sen resistanssilla. Nyt saadaan gradienttimenetelmällä lisäykset (0.14, -0.18).

21 S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 9 - Jaakko Niemi Optimointiopin seminaari - Syksy 2005 / 21 Yhteenveto Parametrien t avulla voidaan virittää nykyistä jakaumaa x kohti tavoitejakaumaa y Tämä tapahtuu minimoimalla x:n ja y:n etäisyysmittaa gradienttimenetelmällä, jossa gradientit lasketaan parametrien t suhteen x:ää ei voida aina sanoa suoraan parametrien t avulla. Tällöin malli voidaan rakentaa eksplisiittisesti

22 S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 9 - Jaakko Niemi Optimointiopin seminaari - Syksy 2005 / 22 Kotitehtävä Ratkaise esimerkin 3.4.1 mukainen ongelma, kun P(A|c) = (0.5,0.5) = (y,y-1) ja t=0.6 (a)Käytä esimerkin 1 tekniikkaa (3.4.1) parametrien virittämiseen (b)Käytä esimerkin 2 tekniikkaa (3.4.3) parametrien virittämiseen (Riittää, kun teet gradienttimenetelmällä yhden iteraatiokierroksen.)