Lataa esitys
Esittely latautuu. Ole hyvä ja odota
JulkaistuHannes Laaksonen Muutettu yli 7 vuotta sitten
1
S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 3 – Karin Ahlbäck Optimointiopin seminaari – Syksy 2010 Esitelmä 3 – Karin Ahlbäck Optimointiopin seminaari – Syksy 2010 Esitelmä 3 Rakenteelliset regressiomallit Harha vs varianssi mallin valinnassa
2
S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 3 – Karin Ahlbäck Optimointiopin seminaari – Syksy 2010 Sisältö Funktion approksimaatiotehtävän rajoittaminen Rakenteelliset regressiomallit –Epätasaisuudesta sakottavat –Kernel- menetelmät –Kantafunktiot Harhan ja varianssin vuorovaikutus mallin muodostuksessa
3
S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 3 – Karin Ahlbäck Optimointiopin seminaari – Syksy 2010 Approksimaatiotehtävän haastavuus Funktion f jäännösneliösumma: Tehtävällä on ääretön määrä ratkaisuja Otoskoon N kasvaessa lähestytään arvoa Äärellisellä N on ratkaisujoukkoa rajoitettava
4
S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 3 – Karin Ahlbäck Optimointiopin seminaari – Syksy 2010 Funktiojoukon rajoittaminen Äärettömyysongelma siirtyy ratkaisuista rajoituksiin Rajoitetaan ratkaisun kompleksisuutta –Säännöllinen käyttäytyminen lokaalisti –Alueen koko määrää rajoituksen tehon
5
S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 3 – Karin Ahlbäck Optimointiopin seminaari – Syksy 2010 Rajoitettujen estimaattien luokkajako Regressiomenetelmien luokkajako määräytyy rajoitusten perusteella Alustava esittely, myöhemmin tarkemmin Esittelyssä kolme luokkaa: –Epätasaisuudesta sakottavat –Kernel- menetelmät –Kantafunktiot
6
S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 3 – Karin Ahlbäck Optimointiopin seminaari – Syksy 2010 Epätasaisuudesta sakottaminen & Bayesilaiset menetelmät Funktiojoukkoa rajoitetaan sakottamalla epätasaisuudesta: Vapaavalintainen J(f) saa suuren arvon, jos f vaihtelee liian voimakkaasti jonkin pisteen ympäristössä Esimerkki:
7
S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 3 – Karin Ahlbäck Optimointiopin seminaari – Syksy 2010 J- funktionaalin valinta J voidaan valita vapaasti, kaikissa dimensioissa, kuvaamaan haluttua rakennetta –Esim. additiivinen sakko Menetelmän taustaoletus: etsittävä f käyttäytyy tasaisesti –Voidaan usein soveltaa Bayesilaisessa viitekehyksessä
8
S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 3 – Karin Ahlbäck Optimointiopin seminaari – Syksy 2010 Kernel-menetelmät & lokaali regressio Määrittelee jonkin pisteen ympäristön kernel-funktion avulla –K määrää paino- kertoimet pisteille x pisteen x 0 ympäristössä Esim. Gauss kernel
9
S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 3 – Karin Ahlbäck Optimointiopin seminaari – Syksy 2010 Regressioestimaatti Saadaan :n estimaatti, missä minimoi lausekkeen Esim. jos, saadaan yksinkertaisin (Nadaraya- Watson) estimaatti k-NN voidaan mieltää kernel-menetelmäksi:
10
S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 3 – Karin Ahlbäck Optimointiopin seminaari – Syksy 2010 Kantafunktiot & Sanakirja- menetelmät f koostuu ( :n suhteen) lineaarisesta kehitelmästä kantafunktioita Esim. polynomit, splinit Samoin radiaaliset kantafunktiot: Parametrien estimointi muuntaa tehtävän epälineaariseksi
11
S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 3 – Karin Ahlbäck Optimointiopin seminaari – Syksy 2010 Adaptiiviset kantafunktio- menetelmät Tietyt neuraaliverkkomallit voidaan mieltää adaptiivisiksi kantafunktiomenetelmiksi: Parametrit ja täytyy estimoida Nimitys sanakirja-menetelmä: käytettävissä ääretön määrä tai joukko D mahdollisia kantafunktioita. Malli rakennetaan hakumenetelmää käyttäen.
12
S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 3 – Karin Ahlbäck Optimointiopin seminaari – Syksy 2010 Harhan ja varianssin vuorovaikutus Mallin muodostuksessa: miten valita mallin kompleksisuus(parametri) sopivasti? Parametrien estimointi opetusaineistosta ei mielekästä Ratkaisu: minimoidaan mallin odotusarvoista ennustevirhettä (EPE:ä) –Vuorovaikutusta ennusteen harhan ja varianssin välillä
13
S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 3 – Karin Ahlbäck Optimointiopin seminaari – Syksy 2010 Esimerkki: k-NN mallille Opetusvirhe ei ole mielekäs estimaatti Harhan ja varianssin vuorovaikutus
14
S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 3 – Karin Ahlbäck Optimointiopin seminaari – Syksy 2010 Yhteenveto Approksimaatioissa käypää funktiojoukkoa on rajoitettava Rajoitetut estimaatit –J-sakkofunktionaali –Kernel-funktion painokertoimet –Kehitelmä kantafunktioita Optimaalinen malli saadaan minimoimalla odotusarvoista ennustevirhettä
15
S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 3 – Karin Ahlbäck Optimointiopin seminaari – Syksy 2010 Kotitehtävä Testaa Matlabin ksdensity- funktiota jostakin todennäköisyysjakaumasta generoidulle100 pisteen otokselle (kts esimerkkiä funktion dokumentaatiosta). Käytä sekä funktion oletusasetuksia että Epanechnikov- kerneliä, kernelin pituusparametria vaihdellen. Selitä lyhyesti, mistä kernelien väliset tuloserot johtuvat.
Samankaltaiset esitykset
© 2024 SlidePlayer.fi Inc.
All rights reserved.