S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Lineaarinen regressio ja lähin naapuri -menetelmä, tilastollinen päätösteoria Määritelmät Lineaarinen malli Lähin naapuri Bayesin optimaalinen luokittelija Vertailu

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Määritelmät Notaatiot: –Ulostuloja (outputs) Y:tä (tai G:tä)=> selitettävät (riippuvat) muuttujat –Havaintoja X:iä => selittävät (riippumattomat) muuttujat Kvantitatiivisten ulostulojen (Y) mallintaminen = regressio –Kvalitatiivisten (G) = kategorisointi Mihin luokkaan tietty havainto kuuluu? –Havaitut arvot: x (pienet kirjaimet) –Matriisit: X (isot kirjaimet) –Estimaatit: ŷ

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Lineaarinen malli Lineaarinen pienten neliöiden summa Tilastotieteiden työhevonen viimeiset 30 vuotta Meillä on selittäviä tekijöitä (input).

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Lineaarinen malli Yritämme selittää riippuvan tekijän Y:n arvoja X:illä Leikkaus pystyakselin kanssa: Vaihtoehto: Lisätään vakio 1 X-vektoriin ja kirjoitetaan matriisimuotooon =>

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Lineaarinen malli Miten sovitetaan mitattuun dataan? Minimoidaan residuaalien neliösummaa: 2-D tauluesimerkki:.

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Lineaarinen malli Kirjan s pistettä Havainnot: x 1 & x 2 Luokat: ORANGE = 1 BLUE = 0 Klassifikaatio:.

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 PNS Päätöksentekoraja (decision boundry)

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Lineaarinen malli Vastaukset: – vakaita –mahdollisesti epätarkkoja –mahdollisesti epätosia Ongelmana edellytykset: –Lineaarisuus –Homoskedastisuus Residuaalien varianssi sama –Ei multikollineaarisuutta x:t eivät korreloi vahvasti keskenään –Ei autokorrelaatiota

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Lähin naapuri Tarkastellaan kategorisoitavien pisteiden k lähintä naapuripistettä Havaitut pisteet:= ”Naapurusto”:= Läheisyys mitataan euklidisesti

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Lähin naapuri Tarkastellaan jokaisen pisteen 15:ta lähintä naapuria (palloa) –Oranssi naapuri => = 1 –Sininen naapuri => = 0 Jos 8-15 sinistä, piste kuuluu sinisiin ja vice versa Sama päätössääntö kuin äsken:

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Lähin naapuri + Joustava + k:n määrää voi säätää Taustakohina, poikkeavat havainnot tms. häiriöt -Laskentateho -Ei saada mitään approksimaatiofunktiota.

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Bayesin optimaalinen luokittelija (Bayes Optimal Classifier) Haluamme määritellä Y:n (luokan, mihin pallo eli piste x kuuluu) käyttäen X:n funktiota f(X) Tarvitsemme sakkofunktion (loss function) L(Y, f(X)) sakottaaksemme ennustusvirheitä Yleisin ja kätevin: neliösakkofunktio (Vrt. PNS) f voidaan valita minimoimalla odotettua ennustusvirhettä EPE:ä (Expected Prediction Error)

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Bayesin optimaalinen luokittelija Integraalin ratkaiseminen hankalaa => tarkastellaan X:n & Y:n yhteisjakaumaa ”Nähdään” että riittää EPE:n minimoiminen pisteittäin Josta saadaan Minimoiva c = Y = (Y:n reunajakauman odotusarvo sillä ehdolla että X = x)

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Bayesin optimaalinen luokittelija f(x) := joku funktio, joka kuvaa parhaimmalla tavalla X:n ja Y:n yhteisjakaumaa (X,Y) –Minimoi menetysfunktion odotusarvon Kun haluamme laskea, mihin luokaan tietty piste x todennäköisimmin kuuluu := Pisteen x estimoitu luokka (BLUE / ORANGE) := kaikki luokat ({BLUE, ORANGE}, {0,1,2…,n}, jne. ) g := joku luokka joka kuuluu :n

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Bayesin optimaalinen luokittelija Jos sakkofunktio binäärifunktio => tai pelkästään

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Bayesin optimaalinen luokittelija Yhdistää lineaarisen mallin ja Lähimmän naapurin hyviä puolia Baeys: Optimaalinen luokittelumenetelmä –Käytännössä soveltuu vain kaikkein helpoimmille tehtäville –Ongelmana mm. vaatimus ehdollisten todennäköisyyksien tunteminen etukäteen

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Vertailu: Lineearinen malli: Vakaa mutta rajoitettu –Edellyttää vahvoja rakenteellisia odotuksia Lähin naapuri: Joustava mutta laskennallisesti raskas Bayes: Optimaalinen mutta käytännön tehtävien laskeminen voi olla ongelmallista

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Kysymyksiä? Kiitos!