S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 11 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Lokaalit uskottavuusmenetelmät.

Esitys aiheesta: "S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 11 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Lokaalit uskottavuusmenetelmät."— Esityksen transkriptio:

1 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 11 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Lokaalit uskottavuusmenetelmät ja kernelit luokittelussa 6.5-6.6 ja 6.9

2 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 11 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Sisältö Lokaalit uskottavuusmenetelmät Kernel - tiheysestimaatit ja luokittelu Laskennallisia huomioita Yhteenveto Kotitehtävä

3 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 11 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 LOKAALIT USKOTTAVUUSMENETELMÄT

4 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 11 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Lokaalit uskottavuusmenetelmät Mikä tahansa parametrinen malli voidaan tehdä lokaaliksi, jos sovituksessa käytetty menetelmä hyödyntää havaintopainoja.

5 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 11 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Esimerkki (1/2) Kaikkiin havaintoihin y i voidaan liittää parametri θ i =x i T β Päättely havainoista x i ja β pohjautuu logaritmiseen uskottavuusfunktioon

6 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 11 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Esimerkki jatkuu (2/2) Parametria Θ(X) voidaa mallintaa joustavammin käyttämällä lokaalia uskottavuutta. Θ(x 0 ) =x 0 T β(x 0 )

7 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 11 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Havainnollinen esimerkki? (1/3) Lokaali versio luokittelijasta, joka perustuu lineaariseen logistiseen regressioon (4.36) Aineisto koostuu syötteistä x i ja luokittelevista vasteista g i ϵ{1,2,...,J}. Lineaarinen malli on muodoltaan

8 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 11 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Havainnollinen esimerkki (2/3) Lokaali logaritminen-uskottavuusfunktio voidaan kirjoittaa muotoon Missä β J0 =0 ja β J =0

9 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 11 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Havainnollinen esimerkki (3/3) Lokaalit regressiot ovat keskitetty x 0, joten sovitetut posteriori-todennäköisyydet ovat pisteessä x 0

10 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 11 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010

11 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 11 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 KERNEL- TIHEYSESTIMAATTIT JA LUOKITTELU

12 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 11 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Kernel - tiheysestimoiti On ohjaamattoman oppimisen menetelmä. Mahdollistaa joukon yksinkertaisia menetelmiä parametrittomaan luokitteluun.

13 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 11 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Estimaattorit (1/2) Oletaan satunnaisotos x 1,...,x N, joka on arvottu jakaumasta f X (x) ja halutaan estimoida f X pisteessä x 0. XϵR Luonnollinen lokaali estimaattori on muotoa Missä N(x 0 ) on pieni metrinen ympäristö x 0 ympärillä leveydellä λ.

14 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 11 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Estimaattorit (2/2) Luonnollinen lokaali estimaatti on kuoppainen ja näin ollen Parzen estimaatti on suositumpi. Koska havainnot x 0 ympäristössä huomioidaan painoin, jotka vähenevät etäisyyden pisteestä x 0 kasvaessa.

15 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 11 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Luokittelu perustuen kernel - tiheysestimaatteihin Luokittelu voidaa toteuttaa suoraviivaisesti käyttämällä Bayesin teoriaa. Oletetaan J:n luokan luokitteluongelma. Sovitetaan parametrisoimattomat tiheysestimaatit f j (X) erikseen jokaiselle luokalle ja estimoidaan luokka priorit π j (usein luokkaosuudet)

16 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 11 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Luokittelu Posteriori todennäköisyys saa muodon

17 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 11 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Havainnollistava kuva

18 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 11 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Naiivi Bayes luokittelija Sopiva, kun syöteavaruuden dimensio p on suuri. Naiivi Bayes olettaa, että luokalle G=j syöte - avuruuden X k ovat riippumattomia. (Ei yleensä totta)

19 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 11 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Naiivi Bayes ja yleistetty additiivinen malli Logit-muunnos käyttäen luokkaa J kantana

20 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 11 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 LASKENNALLISIA HUOMIOITA

21 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 11 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Laskennallisesta vaativuudesta Kernelit ja lokaali regressio ovat muisti pohjaisia menetelmiä (memory-based methods) Mallina on koko harjoitusjoukko ja sovitus tehdään evaluointi- tai ennustevaiheessa, voi tehdä menetelmistä sopimattomia reaaliaikaisiin sovelluksiin.

22 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 11 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 FLoating point Operations Per Second Laskennallinen vaativuus sovitteelle yhdellä havainnolla x 0 on O(N) flops, vertailuksi M kantafunktion laskennellinen vaativuus on O(M) yhdelle evaluaatiolle, tyypillisesti M~O(logN). Kantafunktio menetelmien aloitus laskennalliset vaativuudet ovat luokkaa O(NM 2 +M 3 ) Smoothing parametrin valinnan laskennallinen vaativuus on O(N 2 ) käyttäen ristiin validointia.

23 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 11 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 YHTEENVETO

24 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 11 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Yhteenveto Luokittelu perustuen kernel- tiheysestimaatteihin on parametriton menetelmä ja voidaan toteuttaa suoraviivaisesti käyttäen Bayesin teoriaa. Luokittelu tapa ei välttämättä sovellu reaaliaikaisiin sovelluksiin.

25 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 11 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 KIITOS : ) Lähde: Wikipedia

26 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 11 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Kotitehtävä Määritä posteriori-todennäköisyys sille, että havainto kuuluu luokkaan ”normi”? Mallia voi katsoa kirjan kuvasta 6.14. Liitteenä m-tiedost, jossa data.