S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010 Tukivektorikoneet.

Esitys aiheesta: "S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010 Tukivektorikoneet."— Esityksen transkriptio:

1 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010 Tukivektorikoneet II

2 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010 Tavoitteet Kirja12.3.3-12.3.8 Rinnastaa TVK aiemmin käsiteltyihin aiheisiin –Suuren osan hyppäsimme yli Esitellä –Kerneleitä & ominaisuuksia –Sakkokertoimia ja funktiota –Polkualgoritmi –Regressio ja TVK

3 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010 Tukivektorikoneet Laajennus aiempiin: Jako luokkiin G lineaarisin rajoin –Epälineaarisin rajoin (polynomit, splinit) laajentamalla x:n avaruutta Vertaa –Esitelmä 17: Laajennus kantafunktioden suhteen –Esitelmä 9: Polynomisplinit sama idea, korkeampi muunnoksen dimensio

4 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010 Tukivektorikoneet x:ien muunnokset (Epä)lineaarinen funktio Luokittelija

5 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010 Kerneli Esimerkki: Toisen asteen polynomikerneli (esitys 9) Muuttujat & M = 6 ja valitsemalla

6 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010 Lagrangen duaalifunktio Valitsemalla h(x):t sopivasti saadaan Lagrange/Wolfen duualifunktio sisätulomuodossa Ratkaisu Jos tunnemme :t, voidaan ratkaista mille tahansa jolle pätee h(x) mukana vain sisätulomuodossa => laskentatehokasta!

7 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010 Kerneli h(x):n transformaatiota ei tarvitse määrätä Tarvitaan vain tietoa kerneli –funktiosta –Vaatimus: symmetrisesti positiivinen (semi) defininiitti funktio Suosittuja valintoja –d:nnen asteen polynomi –Sädeperusfunktio (radial basis) –Hermoverkosto

8 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010 Esimerkki Purppura raja:

9 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010 TVK ja ulottuvuuksien kirous

10 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010 TVK ja ulottuvuuksien kirous ”Illustratiivinen” esimerkki kirjasta –100 havaintoa per luokka, X:t N~(0,1) –1. luokka: –2. luokka: sama mutta ehdolla –Lisätty 6 kpl N~(0,1) kohinaa –Tulos: 2. luokka melkein täysin ympäröi 1. luokan –4 –ulotteinen appelsiini ja sen kuori

11 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010 Testivirheen keskiarvo 50 simulaatiosta

12 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010 Sakkoparametri C Edellisestä esitelmästä: Sakkoparametri C:n valinta vaikuttaa testivirheeseen –Pisteen i etäisyys väärällä puolella päätösrajaa = -Iso C sakottaa paljon ::tä -voi johtaa ylisovittamiseen ja turhan rosoiseen rajaan - Pienempi C => pienempi => sileämpi raja

13 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010 f

14 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010 TVK sakkofunktiona Minimoitava funktio => Muotoa menetys + sakko missä + viittaa positiiviseen osaan, y = +/- 1 ja

15 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010 TVK sakkofunktiona Erilaisia sakkofunktiota ja niitä minimoivia funktiota Minimoiva funktio Binomipoikkeama SVM sarana Neliösumma Huberisoitu neliösumma

16 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010 Polkualgoritmi TVK- luokittelijalle Miten valita oikea C? Käytetään menetys + sakko- muotoista funktiota muodossa Lagrangen kertoimet, Iteroidaan muuttamalla :aa

17 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010 Polkualgoritmi TVK- luokittelijalle KKT- ehdoista seuraa, että havainnot kolmea eri luokkaa: –Oikein luokitellut pisteet marginaalin ulkopuolella –Marginaalilla olevat –Mahdollisesti väärin luokitellut pisteet (marginaalin sisäpuolella) Aluksi iso ja marginaali iso => kaikki pisteet sisäpuolella Pienennetään :aa => pienenee => vähemmän sisäpuolella

18 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010 G

19 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010 Polkualgoritmi TVK- luokittelijalle –Oikein luokitellut pisteet marginaalin ulkopuolella – => ei vaikutusta :ään –Marginaalilla olevat => ainoat vaikuttavat pisteet, kun muuttuu –Pisteet marginaalin sisäpuolella => kiinteä vaikutus :ään Epälineaarisille malleille:

20 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010 Regressio ja TVK Entä jos Y kvantitatiivinen eikä kvalitatiivinen luokittelija +/- 1? Minimointitehtävä

21 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010 Regressio ja TVK Missä Vaihtoehtoisesti Huberin:

22 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010 Regressio ja TVK Ratkaisu: Missä positiivisia ja ratkaisevat SQP –ongelman s.e. vain osa i:stä täyttää tämän ehdon=> tukivektorit

23 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010 Kysymyksiä? Kuva: http://lecun.org/gallery/libpro/20011121-allyourbayes/dsc01228-02-h.jpghttp://lecun.org/gallery/libpro/20011121-allyourbayes/dsc01228-02-h.jpg

24 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010 Kotitehtävä Sanaselitys Miten TVK pystyy lieventämään ulottuvuuksien kiroukseen liittyvää laskentavaativuutta? – (Vinkki: liittyy h(x):n laskentatapaan) Jos ulottuvuuksia p on paljon (x:ien lkm), anna esimerkki tilanteesta, jolloin TVK laskee tarpeettoman monien ulottuvuuksien yli. Lue kpl 12.3.0-1, 12.3.4 (ja mahd. 12.3.7)