S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010 Tukivektorikoneet II

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010 Tavoitteet Kirja Rinnastaa TVK aiemmin käsiteltyihin aiheisiin –Suuren osan hyppäsimme yli Esitellä –Kerneleitä & ominaisuuksia –Sakkokertoimia ja funktiota –Polkualgoritmi –Regressio ja TVK

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010 Tukivektorikoneet Laajennus aiempiin: Jako luokkiin G lineaarisin rajoin –Epälineaarisin rajoin (polynomit, splinit) laajentamalla x:n avaruutta Vertaa –Esitelmä 17: Laajennus kantafunktioden suhteen –Esitelmä 9: Polynomisplinit sama idea, korkeampi muunnoksen dimensio

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010 Tukivektorikoneet x:ien muunnokset (Epä)lineaarinen funktio Luokittelija

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010 Kerneli Esimerkki: Toisen asteen polynomikerneli (esitys 9) Muuttujat & M = 6 ja valitsemalla

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010 Lagrangen duaalifunktio Valitsemalla h(x):t sopivasti saadaan Lagrange/Wolfen duualifunktio sisätulomuodossa Ratkaisu Jos tunnemme :t, voidaan ratkaista mille tahansa jolle pätee h(x) mukana vain sisätulomuodossa => laskentatehokasta!

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010 Kerneli h(x):n transformaatiota ei tarvitse määrätä Tarvitaan vain tietoa kerneli –funktiosta –Vaatimus: symmetrisesti positiivinen (semi) defininiitti funktio Suosittuja valintoja –d:nnen asteen polynomi –Sädeperusfunktio (radial basis) –Hermoverkosto

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010 Esimerkki Purppura raja:

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010 TVK ja ulottuvuuksien kirous

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010 TVK ja ulottuvuuksien kirous ”Illustratiivinen” esimerkki kirjasta –100 havaintoa per luokka, X:t N~(0,1) –1. luokka: –2. luokka: sama mutta ehdolla –Lisätty 6 kpl N~(0,1) kohinaa –Tulos: 2. luokka melkein täysin ympäröi 1. luokan –4 –ulotteinen appelsiini ja sen kuori

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010 Testivirheen keskiarvo 50 simulaatiosta

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010 Sakkoparametri C Edellisestä esitelmästä: Sakkoparametri C:n valinta vaikuttaa testivirheeseen –Pisteen i etäisyys väärällä puolella päätösrajaa = -Iso C sakottaa paljon ::tä -voi johtaa ylisovittamiseen ja turhan rosoiseen rajaan - Pienempi C => pienempi => sileämpi raja

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010 f

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010 TVK sakkofunktiona Minimoitava funktio => Muotoa menetys + sakko missä + viittaa positiiviseen osaan, y = +/- 1 ja

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010 TVK sakkofunktiona Erilaisia sakkofunktiota ja niitä minimoivia funktiota Minimoiva funktio Binomipoikkeama SVM sarana Neliösumma Huberisoitu neliösumma

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010 Polkualgoritmi TVK- luokittelijalle Miten valita oikea C? Käytetään menetys + sakko- muotoista funktiota muodossa Lagrangen kertoimet, Iteroidaan muuttamalla :aa

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010 Polkualgoritmi TVK- luokittelijalle KKT- ehdoista seuraa, että havainnot kolmea eri luokkaa: –Oikein luokitellut pisteet marginaalin ulkopuolella –Marginaalilla olevat –Mahdollisesti väärin luokitellut pisteet (marginaalin sisäpuolella) Aluksi iso ja marginaali iso => kaikki pisteet sisäpuolella Pienennetään :aa => pienenee => vähemmän sisäpuolella

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010 G

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010 Polkualgoritmi TVK- luokittelijalle –Oikein luokitellut pisteet marginaalin ulkopuolella – => ei vaikutusta :ään –Marginaalilla olevat => ainoat vaikuttavat pisteet, kun muuttuu –Pisteet marginaalin sisäpuolella => kiinteä vaikutus :ään Epälineaarisille malleille:

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010 Regressio ja TVK Entä jos Y kvantitatiivinen eikä kvalitatiivinen luokittelija +/- 1? Minimointitehtävä

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010 Regressio ja TVK Missä Vaihtoehtoisesti Huberin:

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010 Regressio ja TVK Ratkaisu: Missä positiivisia ja ratkaisevat SQP –ongelman s.e. vain osa i:stä täyttää tämän ehdon=> tukivektorit

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010 Kysymyksiä? Kuva:

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010 Kotitehtävä Sanaselitys Miten TVK pystyy lieventämään ulottuvuuksien kiroukseen liittyvää laskentavaativuutta? – (Vinkki: liittyy h(x):n laskentatapaan) Jos ulottuvuuksia p on paljon (x:ien lkm), anna esimerkki tilanteesta, jolloin TVK laskee tarpeettoman monien ulottuvuuksien yli. Lue kpl , (ja mahd )