Bayesilainen tilastoanalyysi - priorijakaumista Tavallisin Bayesanalyysin tapaus on jakauman parametrien “estimointi” Havaittu otos koostuu (vaihdettavien) satunnaismuuttujien arvoista: Koska satunnaismuuttujat Xi ovat vaihdettavia, niiden niilla on yhteinen jakauma (ehdolla parametri) Parametri on myös satunnaismuuttuja, jonka (a priori) jakauma on 1

Bayesilainen tilastoanalyysi - priorijakaumista Likelihoodfunktio (joka on havaittaujen muuttujien yhteisjakauma tai löysästi sanonnutta todennäköisyyshavaita otos) on nyt, koska Xi :t ovat vaihdettavia: Huom! Vaihdettavuus = ehdollinen riippumattomuus ehdolla parametri Posteriorijakauma on nyt 1

Bayesilainen tilastoanalyysi - priorijakaumista Ongelma: miten valita priori jakauma? Miten ilmaista tietämättömyys; epäinformatiiviset jakaumat Miten ilmaista tieto; informatiiviset jakaumat Miten helpottaa laskennallisia ongelmia: konjugaattiset priori-likelihood-parit 1

Bayesilainen tilastoanalyysi - priorijakaumista Konjugaattipriorit: Jos sekä priori- että posteriorijakaumat kuuluvat samaan jakaumaperheeseen, puhutaan konjugaattisesta priori-likelihood parista. Tällöin sekäö priori- että prosteriori jakaumien muoto on sama, mutta niiden parametrien arvot ovat erilaiset Jos tarkasteltavien muuttujien (Xi) yhteinen jakauma kuulun ns. Eksponentiaaliseen jakaumaperheeseen, voidaan löytää konjugaattipriori Eksponentiaaliseen jakaumaperheeseen kuuluvien jakaumien tiheysfunktiot ovat muotoa: 1

Bayesilainen tilastoanalyysi - priorijakaumista Konjugaattipriorit: esimerkkejä Binomijakauma (= Bernoulli-otanta) Otos muotoa: havaittiin k kpl tietynlaisia tapahtumia kun tehtiin n koetta (seim. Havaittiin, että n:stä käynnistetystä laitteesta k ei käynnistynyt) Likelihood on nyt binomijakauma B(p,n) Likelihood on eksponentiaalista muotoa (osoita harjoitustehtävänä) Konjugaattinen priori on selvästi muotoa 1

Bayesilainen tilastoanalyysi - priorijakaumista Konjugaattipriorit: esimerkkejä Binomijakauma (= Bernoulli-otanta) posteriorijakauma on muotoa Nähdään että posteriori ja priori kuuluvat samaan jakaumaperheeseen Kysymys on betajakaumasta 1

Bayesilainen tilastoanalyysi - priorijakaumista Konjugaattipriorit: esimerkkejä Poissonotanta Likelihood on eksponentiaaliseen perheeseen kuuluva Poisson jakauma Otos esim muotoa: havaittu x kpl vikoja tietyn ajanjakson aikana Konjugaattipriori on muotoa (totea) ; eli gammajakauma 1

Bayesilainen tilastoanalyysi - priorijakaumista Konjugaattipriorit Vastaavia konjugaattiprioreja löytyy helposti monille otantatilanteille: Normaalijakauma, moniulotteiset normaalijakaumat Multinomijakauma (binomijakauman yleistys) Gammajakautunut otos Jne. 1

Bayesilainen tilastoanalyysi - priorijakaumista Konjugaattipriorit Konjugaattipriorien sekoitus (mixture) on myös konjugaattipriori, koska 1

Bayesilainen tilastoanalyysi - priorijakaumista Epäinformatiiviset priorit: Halutaan että priorijakauma vaikuttaa mahdollisimman vähän posteriorijakaumaan, ts. Likehoodilla on suurin merkitys Tasakajauma priorina Jeffreyn priori; perustuu ns Fisherin informaatioon: 1

Bayesilainen tilastoanalyysi -numeerisista menetelmistä Reject-accept menetelmä : 1. Arvotaan luku priorijakaumasta 2. Lasketaan likelihoodfunktion arvo ko. parametrin arvolle, eli L(a) 3. Lasketaan suhde r = L(a)/L(a*), missä L(a*) on maksimaalinen likelihoodfunktion arvo 4. Hyväksytään arvottu luku a posteriori-otokseen todennäköisyydellä r 5. Toistetaan askelia 1-4 niin kauan, että halutun kokoinen otos posteriorista on saatu (esim. sata lukua) 6. Muodostetaan empiirinen posteriorijakauma 1

Bayesilainen tilastoanalyysi -numeerisista menetelmistä Osoitetaan “reject-accept” algoritmi todella tuottaa otoksia halutusta jakaumasta Bayes/posteriorijakauma parametrille  on muotoa: Pätee, että 18

Bayesilainen tilastoanalyysi -numeerisista menetelmistä “´Reject-accept” algoritmi: jos on olemassa M > 0 siten, että f()  g()M, niin algoritmi: 1. Arvo  jakaumasta g() 2. Arvo u tasajakaumasta U(0,1) 3. Jos u f()/M g()M, hyväksy , muuten toista 1-3 Algoritmin mukainen hyväksytty  noudattaa jakaumaa 18

Bayesilainen tilastoanalyysi -numeerisista menetelmistä Todistus. Olkoon Nyt 18

Bayesilainen tilastoanalyysi -numeerisista menetelmistä Markov Chain Monte Carlo menetelmät: vastikään suuren suosion saavuttaneita Bayesmallien numeerisia laskeneta menetelmiä Metropolis algoritmi versioineen Gibbs sampler versioineen winbugs-ohjelmistoperhe, ks www.mrc-bsu.cam.ac.uk/bugs/welcome.shtml sopivat hyvinkin suurien Bayesmallien laskentaan. 1

Bayesilainen tilastoanalyysi -numeerisista menetelmistä Gibbs-sampler: tavoitteena määrittää haluttujen muuttujien posteriorijakauma suurissa (erityisesti hierarkisissa) Bayesmalleissa lähestymistapa perustuu Monte Carlo simulointiin kohtalaisen helposti muodostettavissa Gibbs-sampler on Metrolpolis algoritmin erikoistapaus 1

Bayesilainen tilastoanalyysi -numeerisista menetelmistä Gibbs-sampler: tarkastellaan satunnaisvektoria X=(X1,X2,…, Xn) olkoon p(x1,x2,…, xn ) ko. vekrorin komponenttien yhteisjakauma oletetaan että ehdolliset jakaumat p(xi|x1,…, xi-1, xi+1,…, xn) ovat muodostettavissa ja että niistä voidaan arpoa helposti satunnaisluku huom! yleensä erityisesti hierarkisissa malleissa muuttajat riippuvat suoraan vain muutasta ”naapurimuuttujusta” ja em ehdolliset jakaumat ovat yksinkertaisia 1

Bayesilainen tilastoanalyysi -numeerisista menetelmistä Gibbs-sampler: Gibbs Sampler algoritmi on seuraava valitaan joku alkuarvo vektorille x j=1,…,M arvotaan uusi arvo x1j muuttujalle x1 ehdollisesta jakaumasta i=2…n arvotaan uusi arvo muuttujalle xi ehdollisesta jakaumasta Lopetetaan kun prosessia on toistettu M kierrosta 1

Bayesilainen tilastoanalyysi -numeerisista menetelmistä Gibbs-sampler: suppeneminen kohti yhteisjakaumaa johtuu siitä, että algortimin mukainen prosessi on Markov-prosessi, jolla on tasapainotila tasapainotilan jakauma on juuri tarkasteltava yhteisjakauma’ todistuksen yksityiskohdat löytyvät esim. kirjasta Gelman et al, Bayesian Data analysis 1