Esittely latautuu. Ole hyvä ja odota

Esittely latautuu. Ole hyvä ja odota

Bayesilainen tilastoanalyysi - priorijakaumista

Samankaltaiset esitykset


Esitys aiheesta: "Bayesilainen tilastoanalyysi - priorijakaumista"— Esityksen transkriptio:

1 Bayesilainen tilastoanalyysi - priorijakaumista
Tavallisin Bayesanalyysin tapaus on jakauman parametrien “estimointi” Havaittu otos koostuu (vaihdettavien) satunnaismuuttujien arvoista: Koska satunnaismuuttujat Xi ovat vaihdettavia, niiden niilla on yhteinen jakauma (ehdolla parametri) Parametri on myös satunnaismuuttuja, jonka (a priori) jakauma on 1

2 Bayesilainen tilastoanalyysi - priorijakaumista
Likelihoodfunktio (joka on havaittaujen muuttujien yhteisjakauma tai löysästi sanonnutta todennäköisyyshavaita otos) on nyt, koska Xi :t ovat vaihdettavia: Huom! Vaihdettavuus = ehdollinen riippumattomuus ehdolla parametri Posteriorijakauma on nyt 1

3 Bayesilainen tilastoanalyysi - priorijakaumista
Ongelma: miten valita priori jakauma? Miten ilmaista tietämättömyys; epäinformatiiviset jakaumat Miten ilmaista tieto; informatiiviset jakaumat Miten helpottaa laskennallisia ongelmia: konjugaattiset priori-likelihood-parit 1

4 Bayesilainen tilastoanalyysi - priorijakaumista
Konjugaattipriorit: Jos sekä priori- että posteriorijakaumat kuuluvat samaan jakaumaperheeseen, puhutaan konjugaattisesta priori-likelihood parista. Tällöin sekäö priori- että prosteriori jakaumien muoto on sama, mutta niiden parametrien arvot ovat erilaiset Jos tarkasteltavien muuttujien (Xi) yhteinen jakauma kuulun ns. Eksponentiaaliseen jakaumaperheeseen, voidaan löytää konjugaattipriori Eksponentiaaliseen jakaumaperheeseen kuuluvien jakaumien tiheysfunktiot ovat muotoa: 1

5 Bayesilainen tilastoanalyysi - priorijakaumista
Konjugaattipriorit: esimerkkejä Binomijakauma (= Bernoulli-otanta) Otos muotoa: havaittiin k kpl tietynlaisia tapahtumia kun tehtiin n koetta (seim. Havaittiin, että n:stä käynnistetystä laitteesta k ei käynnistynyt) Likelihood on nyt binomijakauma B(p,n) Likelihood on eksponentiaalista muotoa (osoita harjoitustehtävänä) Konjugaattinen priori on selvästi muotoa 1

6 Bayesilainen tilastoanalyysi - priorijakaumista
Konjugaattipriorit: esimerkkejä Binomijakauma (= Bernoulli-otanta) posteriorijakauma on muotoa Nähdään että posteriori ja priori kuuluvat samaan jakaumaperheeseen Kysymys on betajakaumasta 1

7 Bayesilainen tilastoanalyysi - priorijakaumista
Konjugaattipriorit: esimerkkejä Poissonotanta Likelihood on eksponentiaaliseen perheeseen kuuluva Poisson jakauma Otos esim muotoa: havaittu x kpl vikoja tietyn ajanjakson aikana Konjugaattipriori on muotoa (totea) ; eli gammajakauma 1

8 Bayesilainen tilastoanalyysi - priorijakaumista
Konjugaattipriorit Vastaavia konjugaattiprioreja löytyy helposti monille otantatilanteille: Normaalijakauma, moniulotteiset normaalijakaumat Multinomijakauma (binomijakauman yleistys) Gammajakautunut otos Jne. 1

9 Bayesilainen tilastoanalyysi - priorijakaumista
Konjugaattipriorit Konjugaattipriorien sekoitus (mixture) on myös konjugaattipriori, koska 1

10 Bayesilainen tilastoanalyysi - priorijakaumista
Epäinformatiiviset priorit: Halutaan että priorijakauma vaikuttaa mahdollisimman vähän posteriorijakaumaan, ts. Likehoodilla on suurin merkitys Tasakajauma priorina Jeffreyn priori; perustuu ns Fisherin informaatioon: 1

11 Bayesilainen tilastoanalyysi -numeerisista menetelmistä
Reject-accept menetelmä : 1. Arvotaan luku priorijakaumasta 2. Lasketaan likelihoodfunktion arvo ko. parametrin arvolle, eli L(a) 3. Lasketaan suhde r = L(a)/L(a*), missä L(a*) on maksimaalinen likelihoodfunktion arvo 4. Hyväksytään arvottu luku a posteriori-otokseen todennäköisyydellä r 5. Toistetaan askelia 1-4 niin kauan, että halutun kokoinen otos posteriorista on saatu (esim. sata lukua) 6. Muodostetaan empiirinen posteriorijakauma 1

12 Bayesilainen tilastoanalyysi -numeerisista menetelmistä
Osoitetaan “reject-accept” algoritmi todella tuottaa otoksia halutusta jakaumasta Bayes/posteriorijakauma parametrille  on muotoa: Pätee, että 18

13 Bayesilainen tilastoanalyysi -numeerisista menetelmistä
“´Reject-accept” algoritmi: jos on olemassa M > 0 siten, että f()  g()M, niin algoritmi: 1. Arvo  jakaumasta g() 2. Arvo u tasajakaumasta U(0,1) 3. Jos u f()/M g()M, hyväksy , muuten toista 1-3 Algoritmin mukainen hyväksytty  noudattaa jakaumaa 18

14 Bayesilainen tilastoanalyysi -numeerisista menetelmistä
Todistus. Olkoon Nyt 18

15 Bayesilainen tilastoanalyysi -numeerisista menetelmistä
Markov Chain Monte Carlo menetelmät: vastikään suuren suosion saavuttaneita Bayesmallien numeerisia laskeneta menetelmiä Metropolis algoritmi versioineen Gibbs sampler versioineen winbugs-ohjelmistoperhe, ks sopivat hyvinkin suurien Bayesmallien laskentaan. 1

16 Bayesilainen tilastoanalyysi -numeerisista menetelmistä
Gibbs-sampler: tavoitteena määrittää haluttujen muuttujien posteriorijakauma suurissa (erityisesti hierarkisissa) Bayesmalleissa lähestymistapa perustuu Monte Carlo simulointiin kohtalaisen helposti muodostettavissa Gibbs-sampler on Metrolpolis algoritmin erikoistapaus 1

17 Bayesilainen tilastoanalyysi -numeerisista menetelmistä
Gibbs-sampler: tarkastellaan satunnaisvektoria X=(X1,X2,…, Xn) olkoon p(x1,x2,…, xn ) ko. vekrorin komponenttien yhteisjakauma oletetaan että ehdolliset jakaumat p(xi|x1,…, xi-1, xi+1,…, xn) ovat muodostettavissa ja että niistä voidaan arpoa helposti satunnaisluku huom! yleensä erityisesti hierarkisissa malleissa muuttajat riippuvat suoraan vain muutasta ”naapurimuuttujusta” ja em ehdolliset jakaumat ovat yksinkertaisia 1

18 Bayesilainen tilastoanalyysi -numeerisista menetelmistä
Gibbs-sampler: Gibbs Sampler algoritmi on seuraava valitaan joku alkuarvo vektorille x j=1,…,M arvotaan uusi arvo x1j muuttujalle x1 ehdollisesta jakaumasta i=2…n arvotaan uusi arvo muuttujalle xi ehdollisesta jakaumasta Lopetetaan kun prosessia on toistettu M kierrosta 1

19 Bayesilainen tilastoanalyysi -numeerisista menetelmistä
Gibbs-sampler: suppeneminen kohti yhteisjakaumaa johtuu siitä, että algortimin mukainen prosessi on Markov-prosessi, jolla on tasapainotila tasapainotilan jakauma on juuri tarkasteltava yhteisjakauma’ todistuksen yksityiskohdat löytyvät esim. kirjasta Gelman et al, Bayesian Data analysis 1


Lataa ppt "Bayesilainen tilastoanalyysi - priorijakaumista"

Samankaltaiset esitykset


Iklan oleh Google