Esittely latautuu. Ole hyvä ja odota

Esittely latautuu. Ole hyvä ja odota

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 17 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Tukivektorikoneet.

Samankaltaiset esitykset


Esitys aiheesta: "S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 17 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Tukivektorikoneet."— Esityksen transkriptio:

1 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 17 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Tukivektorikoneet I 12.1-12.3.2

2 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 17 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Sisältö Tukivektoriluokittelija Tukivektoriluokittelijan laskeminen Tukivektorikoneet ja kernelit Yhteenveto Kotitehtävä

3 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 17 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Johdanto Tukivektorikoneet ovat yleistys lineaarisille päätösrajoille luokittelussa. Laajentavat optimaalisen separoivan hypertason metodiikan separoitumattomiin luokkiin (eli luokat päällekkäisiä). Voivat tuottaa myös epälineaarisen päätösrajan.

4 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 17 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 TUKIVEKTORILUOKITTELIJA

5 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 17 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Tukivektori luokittelija (1/7)

6 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 17 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Tukivektoriluokittelija (2/7) Oletetaan että harjoitusdata koostuu N parista (x 1,y 1 ),(x 2,y 2 ),...,(x N,y N ),x i ϵR p, y i ϵ[-1,1] Määritellään hypertaso Päätössääntö

7 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 17 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Tukivektoriluokittelija (3/7) Koska luokat separoituvia voidaan löytää funktio Eli on mahdollista löytää suurin erottava marginaali luokkien välillä.

8 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 17 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Tukivektoriluokittelija (4/7) Optimointitehtävä voidaan kirjoittaa muodossa (M=1/ ǁ βǁ) Tämä muoto tukivektorikriteerille on konveksi. (neliöllinen kohdefunk. lineaariset rajoitteet).

9 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 17 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Tukivektoriluokittelija (5/7) Oletetaan, että luokat päällekkäisiä. Maksimoidaan M, mutta annetaan joidenkin pisteiden mennä rajan väärälle puolelle. Merkitään slack-muuttujia ξ=(ξ 1, ξ 2,... ξ N )

10 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 17 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Tukivektoriluokittelija (6/7) ξ kuvaa suhteellista tai (absoluuttista) ”etäisyyttä” minkä f(x i ) on väärällä puolella rajaa. Väärin luokiteltu, jos ξ>1 Väärin luokittelu harjoitusaineistolla voidaan rajoittaa rajoittamalla:

11 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 17 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Tukivektoriluokittelija (7/7) Optimointitehtävä erottumattomille luokille voidaan kirjoittaa muodossa (M=1/ ǁ βǁ).

12 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 17 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 TUKIVEKTORILUOKITTELIJAN LASKEMINEN

13 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 17 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Kuinka tehtävä ratkaistaan (1/6) Edellä esitelty optimointitehtävä on konveksi (neliöllinen kohdefunktio ja lineaariset rajoitteet). Voidaan ratkaista esimerkiksi käyttämällä Lagrangen kertoimia.

14 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 17 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Kuinka tehtävä ratkaistaan (2/6) Laskennallisesti tehtävä on kannattavaa muotoilla seuraavasti

15 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 17 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Kuinka tehtävä ratkaistaan (3/6) Lagrangen (primaali) funktio on Minimoidaan asettamalla osittaisderivaatat β, β 0 ja ξ suhteen nollaksi

16 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 17 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Kuinka tehtävä ratkaistaan (4/6) Lagrangen (Wolfe) duaali, joka antaa alarajan käyville pisteille on muotoa Maksimoidaan L D siten, että

17 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 17 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Kuinka tehtävä ratkaistaan (5/6) Tehtävän KKT-ehtoihin kuuluvat primaalin osittaisderivaatoista johdettut ehdot ja seuraavat rajoitteet.

18 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 17 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Kuinka tehtävä ratkaistaan (6/6) Tehtävän ratkaisu on muotoa Pisteitä, jolle kutsutaan tukivektoreiksi. Mitä tahansa pistettä, jolle voidaan käyttää ratkaistaessa β 0. Päätösfunktio on muotoa

19 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 17 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Esimerkki

20 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 17 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 TUKIVEKTORIKONEET JA KERNELIT

21 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 17 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Tukivektorikoneet ja kernelit (1/6) Lineaariset tukivektoriluokittelijat voidaan laajentaa joustavimmiksi kuten muutkin lineaariset menetelmät laajentamalla syöteavaruutta kantafunktioiden avulla. (esim. polynomit, splinet)

22 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 17 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Tukivektorikoneet ja kernelit (2/6) Tukivektorikoneluokittelijat laajentavat syöteavaruuden todella isoksi. Lagrangen duaalifunktio voidaan kirjoittaa seuraavassa muodossa huomioiden syöteavaruuden muunnoksia.

23 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 17 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Tukivektorikoneet ja kernelit (3/6) Ratkaisu f(x):llä voidaan kirjoittaa muodossa Edelliset kaavat riippuvat h(x) vain sisätulon välityksellä. Emme tarvitse tietoa transformaatiosta h(x) vain ainoastaan kernel- funktiosta

24 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 17 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Tukivektorikoneet ja kernelit (3/6) K on symmetrinen ja positiivisesti (semi-) definiitti funktio. Tyypillisiä kernel-funktionta

25 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 17 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Tukivektorikoneet ja kernelit (4/6) Esimerkki syöteavaruus X 1 ja X 2 ja toisenasteen polynomi kernel Valitaan kantafunktiot seuraavasti

26 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 17 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Tukivektorikoneet ja kernelit (5/6) Nyt Ja f(x) voidaan kirjoitaa muodossa

27 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 17 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Tukivektorikoneet ja kernelit (6/6)

28 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 17 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Yhteenveto Tukivektorikoneet ovat yleistys lineaarisille päätösrajoille luokittelussa. Laajentavat optimaalisen separoivan hypertason metodiikan separoitumattomiin luokkiin Voivat tuottaa myös epälineaarisen päätösrajan (käyttämällä kantafunktioita).

29 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 17 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 KIITOS

30 S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 17 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Kotitehtävä Vertaa kernel-funktion ja parametrin C valinnan vaikutusta luokitteluun. Apuna voi käyttää esim. Matlab toolboxia http://www.isis.ecs.soton.ac.uk/isystems/ke rnel/svm.zip ja annettua m-tiedostoa.


Lataa ppt "S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 17 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Tukivektorikoneet."

Samankaltaiset esitykset


Iklan oleh Google