S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 24 – Teppo Voutilainen Optimointiopin seminaari - Syksy 2005 / 1 Datakonflikti ja herkkyys [Data conflict and Sensitivity] s Teppo Voutilainen v1.1.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 24 – Teppo Voutilainen Optimointiopin seminaari - Syksy 2005 / 2 Esityksen sisältö Johdatus esitykseen Datakonflikti [Data conflict] Herkkyysanalyysi [Sensitivity analysis] Herkkyys parametreihin [Sensitivity to parameters] Yhteenveto Kotitehtävä

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 24 – Teppo Voutilainen Optimointiopin seminaari - Syksy 2005 / 3 Esityksen sisältö Johdatus esitykseen Datakonflikti [Data conflict] Herkkyysanalyysi [Sensitivity analysis] Herkkyys parametreihin [Sensitivity to parameters] Yhteenveto Kotitehtävä

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 24 – Teppo Voutilainen Optimointiopin seminaari - Syksy 2005 / 4 Johdatus esitykseen Ovatko havainnot johdonmukaisia vai aiheuttavatko ne konfliktin mallissa? Kuinka herkästi päätelmät muuttuvat havaintojen muuttuessa? Mitkä osat havainnoista ovat välttämättömiä tai riittäviä tietyn hypoteesin kannalta?

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 24 – Teppo Voutilainen Optimointiopin seminaari - Syksy 2005 / 5 Esityksen sisältö Johdatus esitykseen Datakonflikti [Data conflict] Herkkyysanalyysi [Sensitivity analysis] Herkkyys parametreihin [Sensitivity to parameters] Yhteenveto Kotitehtävä

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 24 – Teppo Voutilainen Optimointiopin seminaari - Syksy 2005 / 6 Johdanto datakonfliktiin – 1/3 Bayesverkko kuvaa suljettua maailmaa äärellisellä määrällä muuttujia sekä kausaalisuhteita Kausaalisuhteet eivät ole universaaleja, mutta ne kuvaavat suhteita tiettyjen ehtojen tai rajoitteiden puitteissa

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 24 – Teppo Voutilainen Optimointiopin seminaari - Syksy 2005 / 7 Johdanto datakonfliktiin – 2/3 Esimerkkinä diagnostinen systeemi, joka monitoroi raskauksia verikokeiden avulla Vain sairaudet ja seikat raskauteen liittyen huomioidaan Jos veri on peräisin mieheltä, niin tilannetta ei huomioida mallissa. Havainnot eivät ole mahdollisia mallin puitteissa. Helppo havaita  P(e m )=0. Yleisemmin havainnot kuitenkin ovat mahdollisia ja systeemi ei hyljeksi niitä. Posterioritodennäköisyydet voivat olla harmittoman näköisiä. Sama tapahtuu testituloksien ollessa harhaisia [flawed]

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 24 – Teppo Voutilainen Optimointiopin seminaari - Syksy 2005 / 8 Johdanto datakonfliktiin – 3/3 Konfliktin muodot Harvinainen tapaus [rare case] Harhaiset menetelmät/testit [flawed tests] Tilannetta ei huomioitu mallissa

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 24 – Teppo Voutilainen Optimointiopin seminaari - Syksy 2005 / 9 Datakonfliktin mittaaminen Oikeat havainnot peräisin johdonmukaisista tilanteista, joiden pitäisi mukautua odotuksiin  Havainnot ovat tällöin ”positiivisesti korreloituneita” Olkoon e = {e 1,…,e m } joukko havaintoja Odotusarvoisesti P(e) on suurempi kuin itsenäisten havaintojen todennäköisyydet: P(e 1 ) · … · P(e m ) Konfliktin mitta: Positiivinen conf-arvo osoitus mahdollisesta konfliktista Esim., jos ei ole kurkkukipua eikä kuumetta, on evidenssi valkoisista pilkuista kurkussa epäilyttävä Flunssa?Angiina? Täpliä Kurkussa Kuume Kurkkukipu

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 24 – Teppo Voutilainen Optimointiopin seminaari - Syksy 2005 / 10 Esimerkki konfliktin mittaamisesta – 1/ P(A) = ( ½, ½) = (a 1, a 2 ) P(B|A) = a1a1 a2a2 b1b1 b2b2

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 24 – Teppo Voutilainen Optimointiopin seminaari - Syksy 2005 / P(A) = ( ½, ½) = (a 1, a 2 ) P(B|A) = a1a1 a2a2 b1b1 b2b2 e B = (1 0)  P(e B ) = ½ = P(e A,e B )+P( e A,e B ) = ½·1+ ½·0 e A = (1 0)  P(e A ) = ½  P(e A, e B ) = ½  P(e A )P(e B ) = ¼ Ei konfliktia koska conf<0 Esimerkki konfliktin mittaamisesta – 2/3

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 24 – Teppo Voutilainen Optimointiopin seminaari - Syksy 2005 / 12 e B = (1 0)  P(e B ) = ½ e A = (1 0)  P(e A ) = ½  P(e A, e B ) = ½  P(e A )P(e B ) = ¼ e B = (1 0)  P(e B ) = ½ e A = (0 1)  P(e A ) = ½  P(e A, e B ) = 0  P(e A )P(e B ) = ¼ Konflikti Esimerkki konfliktin mittaamisesta – 3/ P(A) = ( ½, ½) = (a 1, a 2 ) P(B|A) = a1a1 a2a2 b1b1 b2b2

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 24 – Teppo Voutilainen Optimointiopin seminaari - Syksy 2005 / 13 Raskaustesti - esimerkki Priori-tn: P(Pr) = (0.87, 0.13) 2% tuloksista virheellisiä Tilat y (kyllä) tai n (ei) Raskaana? Hormoonitaso viittaa raskauteen? Verikokeen perusteella raskaana? Virtsakokeen perusteella raskaana? Skannaustestin perusteella raskaana?

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 24 – Teppo Voutilainen Optimointiopin seminaari - Syksy 2005 / 14 Raskaustesti - esimerkki Evidenssi: UT=n, Sc=n, BT=y  P(Pr) = (0.12, 0.88) Priori-tn: P(Pr) = (0.87, 0.13) 2% tuloksista virheellisiä Tilat y (kyllä) tai n (ei) Seuraava askel: tutkitaan mikä aiheuttaa konfliktin  KONFLIKTI!

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 24 – Teppo Voutilainen Optimointiopin seminaari - Syksy 2005 / 15 Harvinainen tapaus Evidenssi: UT=n, Sc=n, BT=y sekä B-tT=y Miten tiedämme, että kyseessä on harvinainen tapaus?  EI KONFLIKTIA!

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 24 – Teppo Voutilainen Optimointiopin seminaari - Syksy 2005 / 16 Harvinainen tapaus e = {e 1, …, e m } havaintoja joilla conf(e) > 0 Olkoon h hypoteesi, joka voisi selittää havainnot s.e. conf({e 1, …, e m, h}) ≤ 0 Koska: Jos niin h pystyy selittämään konfliktin. Edellisessä esimerkissä jos h=”B-t = y”, niin 5.4 ≥ 3.1

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 24 – Teppo Voutilainen Optimointiopin seminaari - Syksy 2005 / 17 Harhaiset havainnot a)Kysymys: Sisältääkö e’ sisäistä konfliktia? Tulos: conf(e’) = 3.16 b)Kysymys: Ovatko joukot e’ ja e’’ konfliktissa toisiensa kanssa? Tulos:  Päätelmä: e’’ on harhainen Evidenssiä on kahdesta joukosta: e’ ={eB, eU} ja e’’ ={eS}  KONFLIKTI!  EI KONFLIKTIA! e’ e’’

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 24 – Teppo Voutilainen Optimointiopin seminaari - Syksy 2005 / 18 Konfliktien muodot – 1/2 Lokaalikonflikti – Ovatko joukot konfliktissa toisiensa kanssa? Osittaiskonflikti – Onko joukkojen sisällä sisäisiä konflikteja? Väite 6.4: Konfliktit voidaan esittää seuraavasti: GlobaaliLokaali Osittais

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 24 – Teppo Voutilainen Optimointiopin seminaari - Syksy 2005 / 19  Tulokset viittaavat siihen, että havainto e B on epäilyttävä Konfliktien muodot – 2/2 Esimerkistämme saamme seuraavat konfliktit: √ √ x x x x

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 24 – Teppo Voutilainen Optimointiopin seminaari - Syksy 2005 / 20 Esityksen sisältö Johdatus esitykseen Datakonflikti [Data conflict] Herkkyysanalyysi [Sensitivity analysis] Herkkyys parametreihin [Sensitivity to parameters] Yhteenveto Kotitehtävä

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 24 – Teppo Voutilainen Optimointiopin seminaari - Syksy 2005 / 21 Alustus Hallussa on tiettyjä havaintoja ja kiinnostuksen kohteena on hypoteesit h 1,…,h n. Herkkyysanalyysi voi kertoa meille seuraavaa: –Mitkä havainnot ovat puolesta/vastaan/ei merkityksellisiä h i :n suhteen? –Mitkä havainnot erottavat h i :n h j :stä?

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 24 – Teppo Voutilainen Optimointiopin seminaari - Syksy 2005 / 22 Esimerkki – 1/3 ”Töihin lähtiessä herra Holmes huomaa pihansa olevan märkä. Hän pohtii onko yöllä satanut (R) vai onko hänen suihkutin (S) ollut päällä. Naapureiden pihat (J ja W) ovat kuivia. Täten Holmes päättelee, että hänen suihkutin on jäänyt päälle.” P(J|R)=P(W|R)P(H|R,S) Evidenssi kostuu kolmesta havainnosta: e H, e W, e J Hypoteesi: h s : ”S = y” P(R)=(0,1, 0,9)=P(S)

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 24 – Teppo Voutilainen Optimointiopin seminaari - Syksy 2005 / 23 Esimerkki – 2/3 Syvällisempi tarkastelu edellyttää alijoukkojen evidenssien tutkimista: Evidenssi kostuu kolmesta havainnosta: e H, e W, e J Hypoteesi: h s : ”S = y” e W :llä tai e J :llä ei yksinään ole vaikutusta hypoteesiin, mutta e H ei kuitenkaan ole riittävä todistamaan hypoteesin oikeellisuutta. Yhteenliitetyillä evidensseillä voi olla suurempi vaikutus verrattuna yksittäisten vaikutusten summaan.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 24 – Teppo Voutilainen Optimointiopin seminaari - Syksy 2005 / 24 Esimerkki – 3/3 Alijoukkojen vaikutusta hypoteesiin voidaan tarkastella jakamalla lausekkeet P(h S )-prioritodennäköisyydellä  normalisoidut ehdolliset tn:t (’normalized likelihoods’) Vaikka (e W, e J ):llä ei yksinään ole vaikutusta h S :ään, niin molempia ei kuitenkaan voi poistaa Alijoukot (e H, e J ) ja (e H, e W ) voivat melkein kokonaan selittää muutokset h S :n todennäköisyydessä Mitä suurempi lukuarvo on, sitä rajummin ko. evidenssi tukee hypoteesia.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 24 – Teppo Voutilainen Optimointiopin seminaari - Syksy 2005 / 25 Määritelmiä Haluamme tarkastella miten herkkä tulos P(h|e) on tietylle evidenssille. Evidenssi on riittävä jos P(h|e’) on melkein yhtä suuri kuin P(h|e). Täten e\e’ on tarpeeton. ”Melkein yhtä suuri”-käsitettä voidaan tarkentaa valitsemalla tietty raja θ 1 ja vaatimalla seuraavaa: e’ on minimaalisesti riittävä, jos se on riittävä, muttei mikään sen täydellisistä alijoukoista ole. e’ on kriittinen, jos se on jonkin minimaalisesti riittävän joukon alijoukko. e’ on tärkeä, jos h:n tn muuttuu liikaa ilman sitä,

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 24 – Teppo Voutilainen Optimointiopin seminaari - Syksy 2005 / 26 Sovellettuna esimerkkiin Valitaan rajoiksi seuraavaa: θ 1 = 0.050, θ 2 =  (e H, e J ) sekä (e H, e W ) ovat minimaalisesti riittäviä

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 24 – Teppo Voutilainen Optimointiopin seminaari - Syksy 2005 / 27 Sovellettuna esimerkkiin Valitaan rajoiksi seuraavaa: θ 1 = 0.050, θ 2 =  (e H, e J ) sekä (e H, e W ) ovat minimaalisesti riittäviä  (e W, e J ) on tärkeä

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 24 – Teppo Voutilainen Optimointiopin seminaari - Syksy 2005 / 28 Sovellettuna esimerkkiin Valitaan rajoiksi seuraavaa: θ 1 = 0.050, θ 2 =  (e H, e J ) sekä (e H, e W ) ovat minimaalisesti riittäviä  (e W, e J ) on tärkeä  e H on kriittinen

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 24 – Teppo Voutilainen Optimointiopin seminaari - Syksy 2005 / 29 Jatkoa esimerkille Herra Holmesin maailmassa on vielä hypoteesi h r : ”R = y” mahdollinen. hr-evidenssiä analysoimalla voimme tutkia mitkä havainnot erottavat nämä kaksi hypoteesiä (h r ja h s ) toisistaan Lasketaan P(h r |e’) jokaiselle aliryhmälle sekä suhde normalisoiduille ehdollisille todennäköisyyksille Mitä suurempi tai pienempi lukuarvo niin sitä enemmän evidenssi erottaa hypoteesit toisistaan

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 24 – Teppo Voutilainen Optimointiopin seminaari - Syksy 2005 / 30 h-saturoidut liitospuut ja SE-analyysi A-saturoituja liitospuita voidaan hyödyntää herkkyysanalyysissä Jos tietty tila h hypoteesimuuttujasta H on kiinnostuksen kohteena, niin luodaan uusi liitospuu Evidenssin e levittämisen jälkeen syötetään H=h tiettyyn solmuun R ja suoritetaan JaaEvidenssi R:stä. Viestit tallennetaan erottajiin, jolloin ollaan luotu h-saturoitu liitospuu VW h, e W eWeW eVeV …… e

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 24 – Teppo Voutilainen Optimointiopin seminaari - Syksy 2005 / 31 Mitä jos? -menetelmä Kokeillaan erilaisilla evidensseillä (e X  e’ X ) tai löydöksillä. Mitä jos? –analyysi auttaa tarpeettomien havaintojen karsimisessa. Nähdään myös mitkä havainnot ovat hypoteesiä vastaan tai puolesta. Voidaan tarkastella vaikutusta muuttujaan, josta ei vielä ole saatu evidenssiä.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 24 – Teppo Voutilainen Optimointiopin seminaari - Syksy 2005 / 32 Kriittiset havainnot Oletetaan, että P(h|e) on korkea ja haluamme määritellä mikä on kriittisten löydöksien joukko. Käytetään h-saturoitua liitospuuta, josta poistettu h:ta vastaan olevat ja tarpeettomat havainnot mitä jos? –menetelmällä. Jäljelle jäävien havaintojen osalta oletetaan monotoniteetti (mikään ei riittämätön joukko sisältää riittävän alijoukon) Täten e X on kriittinen joss e\{e X } ei ole riittävä.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 24 – Teppo Voutilainen Optimointiopin seminaari - Syksy 2005 / 33 Esityksen sisältö Johdatus esitykseen Datakonflikti [Data conflict] Herkkyysanalyysi [Sensitivity analysis] Herkkyys parametreihin [Sensitivity to parameters] Yhteenveto Kotitehtävä

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 24 – Teppo Voutilainen Optimointiopin seminaari - Syksy 2005 / 34 Kertausta ”Todennäköisyydet ovat funktiota parametreista” Käsiteltiin virittämiseen [tuning] liittyvässä esitelmässä Olkoon A binaarimuuttuja ja π A:n vanhempien pa(A) konfiguraatio. Jos A:lla on enemmän kuin kaksi tilaa, niin käytämme suhteellista skaalausta (eli loput todennäköisyyksistä skaalataan samalla tekijällä). Jos A:lla on n tilaa ja a 1 on parametrisoitu tila, tällöin: P(A| π )=(t, (1-t) x 2, …, (1-t) x n ), jossa ∑x i = 1. Olemme kiinnostuneita siitä miten P(h|e) muuttuu t:n suhteen. Olkoon t parametri ja syötetään evidenssi e bayes-verkkoon BN. Tällöin: P(e)(t) = αt + β

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 24 – Teppo Voutilainen Optimointiopin seminaari - Syksy 2005 / 35 Yksisuuntainen herkkyysanalyysi Halutaan määritellä P(e) parametrien s funktiona kaikille muille parametreille, jotka ovat kiinnitettyinä alkuarvoihin. Tarkastellaan liitospuuta jossa e on levinnyt. S on muuttuja parametrille s. Prioritn S:lle on P(S=1) = s 0. Leviämisen jälkeen meillä on: Varioimalla s 0 :ta havaitsemme miten se vaikuttaa P(h|e)(s):ään

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 24 – Teppo Voutilainen Optimointiopin seminaari - Syksy 2005 / 36 Esityksen sisältö Johdatus esitykseen Datakonflikti [Data conflict] Herkkyysanalyysi [Sensitivity analysis] Herkkyys parametreihin [Sensitivity to parameters] Yhteenveto Kotitehtävä

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 24 – Teppo Voutilainen Optimointiopin seminaari - Syksy 2005 / 37 Yhteenveto Ovatko havainnot johdonmukaisia vai aiheuttavatko ne konfliktin mallissa? Hyödynnetään conf-arvoa Mitkä osat havainnoista ovat välttämättömiä tai riittäviä tietyn hypoteesin kannalta? e’ on minimaalisesti riittävä, jos se on riittävä, muttei mikään sen täydellisistä alijoukoista ole. e’ on kriittinen, jos se on jonkin minimaalisesti riittävän joukon alijoukko. e’ on tärkeä, jos h:n tn muuttuu liikaa ilman sitä.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 24 – Teppo Voutilainen Optimointiopin seminaari - Syksy 2005 / 38 Esityksen sisältö Johdatus esitykseen Datakonflikti [Data conflict] Herkkyysanalyysi [Sensitivity analysis] Herkkyys parametreihin [Sensitivity to parameters] Yhteenveto Kotitehtävä

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 24 – Teppo Voutilainen Optimointiopin seminaari - Syksy 2005 / 39 Kotitehtävä – Auto ja ABS-jarrut P(A) = ( 2/3, 1/3 ) = P(a 1, a 2 ) = P(uusi auto, vanha auto) P(B|A) = a1a1 a2a2 b1b1 b2b2 a)Laske conf-arvo seuraavalle havainnolle: e = (A, B) = ({a 1, a 2 }, {b 1, b 2 }) = ({1, 0}, {0, 1}) b)Onko havainto ”positiivisesti korreloitunut” vai ei? c)Mitä tulos tarkoittaa? 3p 1p B = (b 1, b 2 ) = (ABS-jarrut, ei ABS-jarruja) 1p