S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 10 – Juho Kokkala Optimointiopin seminaari - Syksy 2010 Kernel-tasoitus.

Esitys aiheesta: "S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 10 – Juho Kokkala Optimointiopin seminaari - Syksy 2010 Kernel-tasoitus."— Esityksen transkriptio:

1 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 10 – Juho Kokkala Optimointiopin seminaari - Syksy 2010 Kernel-tasoitus ja paikallinen regressio 6.1-6.4

2 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 10 – Juho Kokkala Optimointiopin seminaari - Syksy 2010 Kernel-tasoitus •k lähimmän naapurin menetelmä –Epäjatkuva •Kernel-tasoitus: laskeva painokerroin etäisyyden funktiona •Nadaraya-Watson: •Kernel esim. muotoa,

3 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 10 – Juho Kokkala Optimointiopin seminaari - Syksy 2010 Kernel-tasoitus •Yleisemmin •Lähimmän naapurin menetelmässä • :n kasvaessa –Isompi otos, pienempi varianssi –Harha kasvaa •Vakiomuotoisella –Harha vakio –Varianssi kääntäen verrannollinen tiheyteen

4 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 10 – Juho Kokkala Optimointiopin seminaari - Syksy 2010 Paikallinen lineaarinen regressio •Paikallisesti painotetut keskiarvot harhaisia alueen reunoilla •Sovitetaan paikallisesti lineaarinen malli •Painotettu pienin neliösumma

5 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 10 – Juho Kokkala Optimointiopin seminaari - Syksy 2010 Paikallinen lineaarinen regressio Ekvivalentti kernel •Merkitään, matriisi, jonka rivit • diagonaalimatrisi, •Painotettu PNS-estimaatti •Painot ns. ekvivalentti kernel

6 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 10 – Juho Kokkala Optimointiopin seminaari - Syksy 2010 •Voidaan osoittaa •Harha •Vain toisen kertaluvun ja korkeampia termejä Paikallinen lineaarinen regressio Harha

7 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 10 – Juho Kokkala Optimointiopin seminaari - Syksy 2010 Paikallinen polynomiaalinen regressio •Sovitetaan paikallisesti malli •Pienimmän neliösumman tehtävä •Harhassa vain ja korkeamman kertaluvun termejä •Sopivin oletuksin varianssi kasvaa d:n kasvaessa

8 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 10 – Juho Kokkala Optimointiopin seminaari - Syksy 2010

9 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 10 – Juho Kokkala Optimointiopin seminaari - Syksy 2010

10 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 10 – Juho Kokkala Optimointiopin seminaari - Syksy 2010 Paikallinen polynomiaalinen regressio •Paikallinen lineaarinen malli pienentää harhaa reunoilla, varianssi kasvaa maltillisesti •Toisen asteen malli vähentää harhaa alueen sisällä •Asymptoottinen analyysi: parittoman asteen polynomit parempia •Yhdistelmää ei suositella

11 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 10 – Juho Kokkala Optimointiopin seminaari - Syksy 2010 Kernel-ikkunan pituuden valinta •Parametri määrää ikkunan leveyden •Kapea ikkuna –Pieni määrä havaintoja – iso varianssi –Havainnot lähellä - pieni harha • Leveä ikkuna –Suuri määrä havaintoja – pieni varianssi –Havainnot kaukana :sta – iso harha

12 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 10 – Juho Kokkala Optimointiopin seminaari - Syksy 2010 Paikallinen regressio useammassa ulottuvuudessa •Luonnollinen yleistys •Merkintä korkeintaan asteen d termit –Esim. d=2, p=2: •Malli •Painotettu pienin neliösumma •Kernel muotoa •Dimensioiden kirous!

13 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 10 – Juho Kokkala Optimointiopin seminaari - Syksy 2010 Rakenteellinen regressio •Korkea dimensio / pieni otoskoko –> Oletettava jotain mallin rakenteesta •Rakenteellinen kernel •Rakenteellinen regressiofunktio –Muuttuvien kerrointen regressio

14 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 10 – Juho Kokkala Optimointiopin seminaari - Syksy 2010 •Kernel muotoa •Positiivi-semidefiniitti painottaa eri koordinaatteja •Esim. diagonaalimatriisilla :n painokerroin •Korrelaation huomiointi Rakenteellinen kernel

15 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 10 – Juho Kokkala Optimointiopin seminaari - Syksy 2010 •Yritetään sovittaa regressio •Varianssianalyysihajotelma •Rakenne: poistetaan korkeamman kertaluvun termit –Esim. additiivinen •Takaisinsovitus (backfitting) Rakenteellinen regressiofunktio

16 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 10 – Juho Kokkala Optimointiopin seminaari - Syksy 2010 Muuttuvien kerrointen regressio •Jaetaan selittäjät: •Ehdollisesti lineaarinen malli •Paikallinen painotettu pienin neliösumma •Esimerkki: aortan halkaisija –Selittäjät: ikä, sukupuoli, syvyys –Z = (syvyys, sukupuoli)

17 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 10 – Juho Kokkala Optimointiopin seminaari - Syksy 2010 Muuttuvat kertoimet - esimerkki

18 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 10 – Juho Kokkala Optimointiopin seminaari - Syksy 2010 Yhteenveto •Kernel-tasoitus •Paikallinen lineaarinen regressio •Paikallinen polynomiaalinen regressio •Rakenteelliset mallit

19 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 10 – Juho Kokkala Optimointiopin seminaari - Syksy 2010 Kotitehtävä 10 (Kirjan 6.6) Oletetaan, että käytössä on ainoastaan ohjelma paikallisen lineaarisen regression sovittamiseen s.e. selittäjät voi valita. Miten tällä toteutetaan muuttuvien kerrointen regressio?