S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 10 – Juho Kokkala Optimointiopin seminaari - Syksy 2010 Kernel-tasoitus.

Slides:

Advertisements

Samankaltaiset esitykset

Estimointi Laajennettu Kalman-suodin

Advertisements

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 2 - Kim Björkman Optimointiopin seminaari - Kevät 2007 / 1 Yksiulotteiset kuvaukset.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 3 - Riikka-Leena Leskelä Optimointiopin seminaari - Syksy 2005 / 1 2. Mallien rakentaminen.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Ilmari Kuikka Systeemitieteiden kandidaattiseminaari – Kevät 2010 Poistumistien valinnan mallintaminen.

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 20 – Karin Ahlbäck Optimointiopin seminaari - Syksy Esitelmä.

Ristiinvalidointi ja bootstrap-menetelmä

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 15 – Mikko Harju Optimointiopin seminaari - Kevät 2010 Kotitehtävä 15.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 16 - Jarto Niemi Optimointiopin seminaari - Kevät 2007 Kaaos differentiaaliyhtälöissä,

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 17 – Kaarlo Väisänen Optimointiopin seminaari - Kevät 2007 Kompleksisuuden teoria ja organisaaatiotiede.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 3 - Outi Somervuori Optimointiopin seminaari - Kevät 2010 The trouble with choice: Studing.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 28 – Tuukka Sarvi Optimointiopin seminaari - Syksy 2005 / 1 Ratkaisu kotitehtävään 28 Tuukka.

Tommi Kauppinen ja Tuukka Sarvi

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 29 – Janne Ojanen Optimointiopin seminaari - Syksy Dynaamiset Bayesverkot Osa 1.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Kotitehtävä 14 – Tom Lindström Optimointiopin seminaari - Syksy 2005 Kotitehtävän 14 ratkaisu Tom.

Aikasarja-analyysin perusteet

Elliptiset jakaumat Esitys 6 kpl Tuomas Nikoskinen Työn saa tallentaa ja julkistaa Aalto-yliopiston avoimilla verkkosivuilla. Muilta.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 11 - Teemu Mutanen Optimointiopin seminaari - Syksy 2005 / 1 Lisätiedon arvo.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 11 - Teemu Mutanen Optimointiopin seminaari - Syksy 2005 / 1 Kotitehtävä 11 - ratkaisu.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Mark Mehtonen Optimointiopin seminaari - Kevät 2005 / 1 Tarjontaketjun hallinta ja sähköinen kaupankäynti.

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010 Tukivektorikoneet.

Otanta Miksi otantaa? –suuresta perusjoukosta voidaan saada tarvittavat tiedot edullisemmin kuin kokonaistutkimuksella –kiireisyys vaatii usein otantaa.

Muuttujien riippuvuus

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Lineaarinen.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2009 Projektien suunnittelu ja skedulointi.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 24 – Teppo Voutilainen Optimointiopin seminaari - Syksy 2005 / 1 Datakonflikti ja herkkyys.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 19 - Heikki Henttu Optimointiopin seminaari - Syksy 2005 / 1 Ratkaisu kotitehtävään 19.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 9 - Jaakko Niemi Optimointiopin seminaari - Syksy 2005 / 1 Virittäminen (Tuning) s

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 4 – Jussi Kangaspunta Optimointiopin seminaari - Kevät 2007 Kaksiulotteiset kuvaukset 2/2.

S ysteemianalyysin Laboratorio Aalto-yliopiston Teknillinen korkeakoulu Esitelmä 10 – Epäoikeudenmukaisuuden karttaminen Tuomas Nummelin Optimointiopin.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 18 – Juho Kokkala Optimointiopin seminaari - Kevät 2007 Stabiilit monistot ja kriisit Mat

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 17 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Tukivektorikoneet.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 6 - Erkka Ryynänen Optimointiopin seminaari - Syksy 2005 / 1 Bayesin verkot Mallinnus metodeita.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 2 - Jirka Poropudas Optimointiopin seminaari - Kevät 2005 / 1 Bayes-verkoista s

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 15 – Anna Matala Optimointiopin seminaari - Syksy 2008 Kotitehtävän ratkaisu Anna Matala.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmöijän nimi Systeemitieteiden kandidaattiseminaari – Syksy/Kevät 200X Informaation leviäminen.

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 2.

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 11 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Lokaalit uskottavuusmenetelmät.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 5 – Matti Sarjala Optimointiopin seminaari - Kevät 2008 Evoluutiopeliteoria: Viivytystaistelu.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Kotitehtävä – Jouni Pousi Optimointiopin seminaari - Syksy 2008 Kotitehtävän ratkaisu Jouni Pousi.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 6- Samuel Aulanko Optimointiopin seminaari - Syksy 2009 Joustavien kokoonpanojärjestelmien.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 12 – Arttu Klemettilä Optimointiopin seminaari - Syksy 2009 Optimointiopin seminaari 2009.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 5 - Henri Tokola Optimointiopin seminaari - Syksy 2009 Työpajan skedulointi rajoiteohjelmoinnilla.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Kotitehtävä 19 – Ville Koponen Optimointiopin seminaari - Syksy 2009 Kotitehtävä 19 (Kirja12.7)

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 25 - Mark Mehtonen Optimointiopin seminaari - Syksy 2005 / 1 The Chain Rule for Influence.

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Ohjaamaton oppiminen– Heikki Vesterinen Optimointiopin seminaari - Syksy 2010 Ohjaamaton.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 1 - Jirka Poropudas Optimointiopin seminaari - Syksy 2000 / 1 Kotitehtävän 2 ratkaisu Jirka.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmöijän nimi Systeemitieteiden kandidaattiseminaari – Syksy/Kevät 200X Virheraportoijien jakaumat.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Kotitehtävä - Tuomas Nummelin Optimointiopin seminaari - Syksy 2008 Kotitehtävän ratkaisu.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 23 – Juho Kokkala Optimointiopin seminaari - Syksy 2005 / 1 IEJ-puut, yhteisjakaumat, A-kyllästetyt.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 9 - Jaakko Niemi Optimointiopin seminaari - Syksy 2005 / 1 Kotitehtävä 9 Ratkaisu.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Kotitehtävä 24 – Teppo Voutilainen Optimointiopin seminaari - Syksy 2005 Kotitehtävän 24 ratkaisu.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 21 – Osmo Salomaa Optimointiopin seminaari - Syksy 2005 / 1 Kotitehtävän 21 ratkaisu Osmo.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Turkka Anttonen Systeemitieteiden kandidaattiseminaari – Syksy 2009 Epälineaariset pienimmän neliösumman.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 4 – Janne Nurmi Optimointiopin seminaari - Kevät 2008 Kotitehtävä 4 - Ratkaisu

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 8 – Ilmari Kuikka Optimointiopin seminaari - Kevät 2010 Kotitehtävä 8 Ratkaisu.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 17 – Olli Mahlamäki Optimointiopin seminaari - Syksy 2005 / 1 HUGIN-ohjelmisto Olli Mahlamäki.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 5 – Henri Tokola Optimointiopin seminaari - Syksy 2009 Kotitehtävä 5: LEKIN-ohjelman käyttö.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 8 – Reda Guerfi Optimointiopin seminaari - Syksy 2009 Taloudellisen tuotantoerän skedulointi.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 5 – Matti Sarjala Optimointiopin seminaari - Kevät 2008 Kotitehtävien ratkaisut

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 22 – Jussi Kangaspunta Optimointiopin seminaari - Syksy 2010 Ohjaamaton.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2000 / 1 Potentiaalien kertaus ja.

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 11 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Tukivektorikoneet.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Pekka Mild Optimointiopin seminaari - Syksy 2005 / 1 Monitavoitteiset vaikutuskaaviot; Ratkaisu.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Fraktaalit – Ville Brummer Optimointiopin seminaari - Kevät 2007 Fraktaalit - Kotitehtävän vastaus.

Monimuuttujamenetelmistä Lähtökohtana mallittaa muuttujien välinen riippuvuusrakenne. Rakenne tulee sovellusalan teoriasta. Sopiva analyysi valitaan mallin.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Kotitehtävä 4 – Topi Tahvonen Optimointiopin seminaari - Syksy 2005 / 1 4. Kotitehtävän ratkaisu.

S ysteemianalyysin Laboratorio Aalto-yliopisto Turkka Anttonen Systeemitieteiden kandidaattiseminaari – Syksy 2010 Gauss-Newton ja Levenberg- Marquardt.

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 3.

S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 21 - Timo Viitasalo Optimointiopin seminaari - Kevät 2002 / 1 Sähköoptioiden hinnoittelu.

Lineaariset regressiomenetelmät

Esityksen transkriptio:

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 10 – Juho Kokkala Optimointiopin seminaari - Syksy 2010 Kernel-tasoitus ja paikallinen regressio

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 10 – Juho Kokkala Optimointiopin seminaari - Syksy 2010 Kernel-tasoitus •k lähimmän naapurin menetelmä –Epäjatkuva •Kernel-tasoitus: laskeva painokerroin etäisyyden funktiona •Nadaraya-Watson: •Kernel esim. muotoa,

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 10 – Juho Kokkala Optimointiopin seminaari - Syksy 2010 Kernel-tasoitus •Yleisemmin •Lähimmän naapurin menetelmässä • :n kasvaessa –Isompi otos, pienempi varianssi –Harha kasvaa •Vakiomuotoisella –Harha vakio –Varianssi kääntäen verrannollinen tiheyteen

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 10 – Juho Kokkala Optimointiopin seminaari - Syksy 2010 Paikallinen lineaarinen regressio •Paikallisesti painotetut keskiarvot harhaisia alueen reunoilla •Sovitetaan paikallisesti lineaarinen malli •Painotettu pienin neliösumma

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 10 – Juho Kokkala Optimointiopin seminaari - Syksy 2010 Paikallinen lineaarinen regressio Ekvivalentti kernel •Merkitään, matriisi, jonka rivit • diagonaalimatrisi, •Painotettu PNS-estimaatti •Painot ns. ekvivalentti kernel

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 10 – Juho Kokkala Optimointiopin seminaari - Syksy 2010 •Voidaan osoittaa •Harha •Vain toisen kertaluvun ja korkeampia termejä Paikallinen lineaarinen regressio Harha

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 10 – Juho Kokkala Optimointiopin seminaari - Syksy 2010 Paikallinen polynomiaalinen regressio •Sovitetaan paikallisesti malli •Pienimmän neliösumman tehtävä •Harhassa vain ja korkeamman kertaluvun termejä •Sopivin oletuksin varianssi kasvaa d:n kasvaessa

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 10 – Juho Kokkala Optimointiopin seminaari - Syksy 2010

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 10 – Juho Kokkala Optimointiopin seminaari - Syksy 2010

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 10 – Juho Kokkala Optimointiopin seminaari - Syksy 2010 Paikallinen polynomiaalinen regressio •Paikallinen lineaarinen malli pienentää harhaa reunoilla, varianssi kasvaa maltillisesti •Toisen asteen malli vähentää harhaa alueen sisällä •Asymptoottinen analyysi: parittoman asteen polynomit parempia •Yhdistelmää ei suositella

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 10 – Juho Kokkala Optimointiopin seminaari - Syksy 2010 Kernel-ikkunan pituuden valinta •Parametri määrää ikkunan leveyden •Kapea ikkuna –Pieni määrä havaintoja – iso varianssi –Havainnot lähellä - pieni harha • Leveä ikkuna –Suuri määrä havaintoja – pieni varianssi –Havainnot kaukana :sta – iso harha

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 10 – Juho Kokkala Optimointiopin seminaari - Syksy 2010 Paikallinen regressio useammassa ulottuvuudessa •Luonnollinen yleistys •Merkintä korkeintaan asteen d termit –Esim. d=2, p=2: •Malli •Painotettu pienin neliösumma •Kernel muotoa •Dimensioiden kirous!

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 10 – Juho Kokkala Optimointiopin seminaari - Syksy 2010 Rakenteellinen regressio •Korkea dimensio / pieni otoskoko –> Oletettava jotain mallin rakenteesta •Rakenteellinen kernel •Rakenteellinen regressiofunktio –Muuttuvien kerrointen regressio

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 10 – Juho Kokkala Optimointiopin seminaari - Syksy 2010 •Kernel muotoa •Positiivi-semidefiniitti painottaa eri koordinaatteja •Esim. diagonaalimatriisilla :n painokerroin •Korrelaation huomiointi Rakenteellinen kernel

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 10 – Juho Kokkala Optimointiopin seminaari - Syksy 2010 •Yritetään sovittaa regressio •Varianssianalyysihajotelma •Rakenne: poistetaan korkeamman kertaluvun termit –Esim. additiivinen •Takaisinsovitus (backfitting) Rakenteellinen regressiofunktio

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 10 – Juho Kokkala Optimointiopin seminaari - Syksy 2010 Muuttuvien kerrointen regressio •Jaetaan selittäjät: •Ehdollisesti lineaarinen malli •Paikallinen painotettu pienin neliösumma •Esimerkki: aortan halkaisija –Selittäjät: ikä, sukupuoli, syvyys –Z = (syvyys, sukupuoli)

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 10 – Juho Kokkala Optimointiopin seminaari - Syksy 2010 Muuttuvat kertoimet - esimerkki

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 10 – Juho Kokkala Optimointiopin seminaari - Syksy 2010 Yhteenveto •Kernel-tasoitus •Paikallinen lineaarinen regressio •Paikallinen polynomiaalinen regressio •Rakenteelliset mallit

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 10 – Juho Kokkala Optimointiopin seminaari - Syksy 2010 Kotitehtävä 10 (Kirjan 6.6) Oletetaan, että käytössä on ainoastaan ohjelma paikallisen lineaarisen regression sovittamiseen s.e. selittäjät voi valita. Miten tällä toteutetaan muuttuvien kerrointen regressio?