S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 11 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Lokaalit uskottavuusmenetelmät ja kernelit luokittelussa ja 6.9

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 11 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Sisältö Lokaalit uskottavuusmenetelmät Kernel - tiheysestimaatit ja luokittelu Laskennallisia huomioita Yhteenveto Kotitehtävä

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 11 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 LOKAALIT USKOTTAVUUSMENETELMÄT

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 11 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Lokaalit uskottavuusmenetelmät Mikä tahansa parametrinen malli voidaan tehdä lokaaliksi, jos sovituksessa käytetty menetelmä hyödyntää havaintopainoja.

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 11 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Esimerkki (1/2) Kaikkiin havaintoihin y i voidaan liittää parametri θ i =x i T β Päättely havainoista x i ja β pohjautuu logaritmiseen uskottavuusfunktioon

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 11 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Esimerkki jatkuu (2/2) Parametria Θ(X) voidaa mallintaa joustavammin käyttämällä lokaalia uskottavuutta. Θ(x 0 ) =x 0 T β(x 0 )

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 11 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Havainnollinen esimerkki? (1/3) Lokaali versio luokittelijasta, joka perustuu lineaariseen logistiseen regressioon (4.36) Aineisto koostuu syötteistä x i ja luokittelevista vasteista g i ϵ{1,2,...,J}. Lineaarinen malli on muodoltaan

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 11 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Havainnollinen esimerkki (2/3) Lokaali logaritminen-uskottavuusfunktio voidaan kirjoittaa muotoon Missä β J0 =0 ja β J =0

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 11 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Havainnollinen esimerkki (3/3) Lokaalit regressiot ovat keskitetty x 0, joten sovitetut posteriori-todennäköisyydet ovat pisteessä x 0

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 11 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 11 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 KERNEL- TIHEYSESTIMAATTIT JA LUOKITTELU

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 11 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Kernel - tiheysestimoiti On ohjaamattoman oppimisen menetelmä. Mahdollistaa joukon yksinkertaisia menetelmiä parametrittomaan luokitteluun.

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 11 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Estimaattorit (1/2) Oletaan satunnaisotos x 1,...,x N, joka on arvottu jakaumasta f X (x) ja halutaan estimoida f X pisteessä x 0. XϵR Luonnollinen lokaali estimaattori on muotoa Missä N(x 0 ) on pieni metrinen ympäristö x 0 ympärillä leveydellä λ.

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 11 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Estimaattorit (2/2) Luonnollinen lokaali estimaatti on kuoppainen ja näin ollen Parzen estimaatti on suositumpi. Koska havainnot x 0 ympäristössä huomioidaan painoin, jotka vähenevät etäisyyden pisteestä x 0 kasvaessa.

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 11 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Luokittelu perustuen kernel - tiheysestimaatteihin Luokittelu voidaa toteuttaa suoraviivaisesti käyttämällä Bayesin teoriaa. Oletetaan J:n luokan luokitteluongelma. Sovitetaan parametrisoimattomat tiheysestimaatit f j (X) erikseen jokaiselle luokalle ja estimoidaan luokka priorit π j (usein luokkaosuudet)

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 11 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Luokittelu Posteriori todennäköisyys saa muodon

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 11 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Havainnollistava kuva

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 11 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Naiivi Bayes luokittelija Sopiva, kun syöteavaruuden dimensio p on suuri. Naiivi Bayes olettaa, että luokalle G=j syöte - avuruuden X k ovat riippumattomia. (Ei yleensä totta)

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 11 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Naiivi Bayes ja yleistetty additiivinen malli Logit-muunnos käyttäen luokkaa J kantana

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 11 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 LASKENNALLISIA HUOMIOITA

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 11 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Laskennallisesta vaativuudesta Kernelit ja lokaali regressio ovat muisti pohjaisia menetelmiä (memory-based methods) Mallina on koko harjoitusjoukko ja sovitus tehdään evaluointi- tai ennustevaiheessa, voi tehdä menetelmistä sopimattomia reaaliaikaisiin sovelluksiin.

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 11 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 FLoating point Operations Per Second Laskennallinen vaativuus sovitteelle yhdellä havainnolla x 0 on O(N) flops, vertailuksi M kantafunktion laskennellinen vaativuus on O(M) yhdelle evaluaatiolle, tyypillisesti M~O(logN). Kantafunktio menetelmien aloitus laskennalliset vaativuudet ovat luokkaa O(NM 2 +M 3 ) Smoothing parametrin valinnan laskennallinen vaativuus on O(N 2 ) käyttäen ristiin validointia.

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 11 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 YHTEENVETO

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 11 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Yhteenveto Luokittelu perustuen kernel- tiheysestimaatteihin on parametriton menetelmä ja voidaan toteuttaa suoraviivaisesti käyttäen Bayesin teoriaa. Luokittelu tapa ei välttämättä sovellu reaaliaikaisiin sovelluksiin.

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 11 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 KIITOS : ) Lähde: Wikipedia

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 11 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Kotitehtävä Määritä posteriori-todennäköisyys sille, että havainto kuuluu luokkaan ”normi”? Mallia voi katsoa kirjan kuvasta Liitteenä m-tiedost, jossa data.