S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 3 – Karin Ahlbäck Optimointiopin seminaari – Syksy 2010 Esitelmä 3 – Karin Ahlbäck Optimointiopin seminaari – Syksy 2010 Esitelmä 3 Rakenteelliset regressiomallit Harha vs varianssi mallin valinnassa

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 3 – Karin Ahlbäck Optimointiopin seminaari – Syksy 2010 Sisältö Funktion approksimaatiotehtävän rajoittaminen Rakenteelliset regressiomallit –Epätasaisuudesta sakottavat –Kernel- menetelmät –Kantafunktiot Harhan ja varianssin vuorovaikutus mallin muodostuksessa

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 3 – Karin Ahlbäck Optimointiopin seminaari – Syksy 2010 Approksimaatiotehtävän haastavuus Funktion f jäännösneliösumma: Tehtävällä on ääretön määrä ratkaisuja Otoskoon N kasvaessa lähestytään arvoa Äärellisellä N on ratkaisujoukkoa rajoitettava

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 3 – Karin Ahlbäck Optimointiopin seminaari – Syksy 2010 Funktiojoukon rajoittaminen Äärettömyysongelma siirtyy ratkaisuista rajoituksiin Rajoitetaan ratkaisun kompleksisuutta –Säännöllinen käyttäytyminen lokaalisti –Alueen koko määrää rajoituksen tehon

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 3 – Karin Ahlbäck Optimointiopin seminaari – Syksy 2010 Rajoitettujen estimaattien luokkajako Regressiomenetelmien luokkajako määräytyy rajoitusten perusteella Alustava esittely, myöhemmin tarkemmin Esittelyssä kolme luokkaa: –Epätasaisuudesta sakottavat –Kernel- menetelmät –Kantafunktiot

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 3 – Karin Ahlbäck Optimointiopin seminaari – Syksy 2010 Epätasaisuudesta sakottaminen & Bayesilaiset menetelmät Funktiojoukkoa rajoitetaan sakottamalla epätasaisuudesta: Vapaavalintainen J(f) saa suuren arvon, jos f vaihtelee liian voimakkaasti jonkin pisteen ympäristössä Esimerkki:

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 3 – Karin Ahlbäck Optimointiopin seminaari – Syksy 2010 J- funktionaalin valinta J voidaan valita vapaasti, kaikissa dimensioissa, kuvaamaan haluttua rakennetta –Esim. additiivinen sakko Menetelmän taustaoletus: etsittävä f käyttäytyy tasaisesti –Voidaan usein soveltaa Bayesilaisessa viitekehyksessä

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 3 – Karin Ahlbäck Optimointiopin seminaari – Syksy 2010 Kernel-menetelmät & lokaali regressio Määrittelee jonkin pisteen ympäristön kernel-funktion avulla –K määrää paino- kertoimet pisteille x pisteen x 0 ympäristössä Esim. Gauss kernel

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 3 – Karin Ahlbäck Optimointiopin seminaari – Syksy 2010 Regressioestimaatti Saadaan :n estimaatti, missä minimoi lausekkeen Esim. jos, saadaan yksinkertaisin (Nadaraya- Watson) estimaatti k-NN voidaan mieltää kernel-menetelmäksi:

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 3 – Karin Ahlbäck Optimointiopin seminaari – Syksy 2010 Kantafunktiot & Sanakirja- menetelmät f koostuu ( :n suhteen) lineaarisesta kehitelmästä kantafunktioita Esim. polynomit, splinit Samoin radiaaliset kantafunktiot: Parametrien estimointi muuntaa tehtävän epälineaariseksi

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 3 – Karin Ahlbäck Optimointiopin seminaari – Syksy 2010 Adaptiiviset kantafunktio- menetelmät Tietyt neuraaliverkkomallit voidaan mieltää adaptiivisiksi kantafunktiomenetelmiksi: Parametrit ja täytyy estimoida Nimitys sanakirja-menetelmä: käytettävissä ääretön määrä tai joukko D mahdollisia kantafunktioita. Malli rakennetaan hakumenetelmää käyttäen.

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 3 – Karin Ahlbäck Optimointiopin seminaari – Syksy 2010 Harhan ja varianssin vuorovaikutus Mallin muodostuksessa: miten valita mallin kompleksisuus(parametri) sopivasti? Parametrien estimointi opetusaineistosta ei mielekästä Ratkaisu: minimoidaan mallin odotusarvoista ennustevirhettä (EPE:ä) –Vuorovaikutusta ennusteen harhan ja varianssin välillä

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 3 – Karin Ahlbäck Optimointiopin seminaari – Syksy 2010 Esimerkki: k-NN mallille Opetusvirhe ei ole mielekäs estimaatti Harhan ja varianssin vuorovaikutus

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 3 – Karin Ahlbäck Optimointiopin seminaari – Syksy 2010 Yhteenveto Approksimaatioissa käypää funktiojoukkoa on rajoitettava Rajoitetut estimaatit –J-sakkofunktionaali –Kernel-funktion painokertoimet –Kehitelmä kantafunktioita Optimaalinen malli saadaan minimoimalla odotusarvoista ennustevirhettä

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 3 – Karin Ahlbäck Optimointiopin seminaari – Syksy 2010 Kotitehtävä Testaa Matlabin ksdensity- funktiota jostakin todennäköisyysjakaumasta generoidulle100 pisteen otokselle (kts esimerkkiä funktion dokumentaatiosta). Käytä sekä funktion oletusasetuksia että Epanechnikov- kerneliä, kernelin pituusparametria vaihdellen. Selitä lyhyesti, mistä kernelien väliset tuloserot johtuvat.