S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 2 – Jouni Pousi Optimointiopin seminaari – Syksy 2010 Esitelmä 2 – Jouni Pousi Optimointiopin seminaari – Syksy 2010 Esitelmä 2, Osa I Lokaalit menetelmät useissa dimensioissa

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 2 – Jouni Pousi Optimointiopin seminaari – Syksy 2010 Dimensioiden kirous Lokaalit menetelmät ennustavat lähellä olevien opetusaineiston pisteiden perusteella –Esim. k:n lähimmän naapurin menetelmä (k-NN) Onko järkevää käyttää aina, kunhan opetusaineistoa on riittävästi? Ei, koska törmätään dimensioiden kiroukseen (curse of dimensionality) –Tarvittavan opetusaineiston määrä kasvaa liian nopeasti dimensioiden lukumäärän kasvaessa Seuraavilla kalvoilla esimerkkejä

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 2 – Jouni Pousi Optimointiopin seminaari – Syksy 2010 Kattavan otoksen saaminen vaikeaa Aineisto tasajakautunut p-ulotteisessa yksikkökuutiossa Halutaan valita sisältä kuutio, joka odotusarvoisesti sisältää osuuden r kaikista havainnoista Kuution tilavuus oltava r Odotusarvoinen särmän pituus on p = 3 – p = 10 – Kattavan otoksen saaminen vaikeaa 1

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 2 – Jouni Pousi Optimointiopin seminaari – Syksy 2010 p-ulotteisen kuution särmän pituus, joka odotusarvoisesti kattaa osuuden r yksikkökuution tilavuudesta

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 2 – Jouni Pousi Optimointiopin seminaari – Syksy 2010 Opetusaineisto kertyy reunoille Opetusaineistossa N datapistettä Peräisin tasajakaumasta p-ulotteisen yksikköpallon sisällä Mediaanietäisyys pallon keskipisteestä lähimpään datapisteeseen on N=500, p=3 – N=500, p=10 – Dimensioiden lukumäärän kasvaessa yhä suurempi osa opetusaineistosta alueen reunoilla Joudutaan turvautumaan ekstrapolointiin interpoloinnin sijaan

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 2 – Jouni Pousi Optimointiopin seminaari – Syksy 2010 Opetusaineisto täyttää syöteavaruuden harvasti Näytteistyksen tiheys on verrrannollinen kertoimeen Oletetaan, että näytettä riittävästi 1 dimensiossa Vastaava tiheys 10 dimensiossa vaatii näytettä Kun dimensioiden lukumäärä kasvaa, kaikki opetusainestot täyttävät syöteavaruuden harvasti

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 2 – Jouni Pousi Optimointiopin seminaari – Syksy 2010 Simulaatioesimerkki Opetusaineisto :, Valitaan Ennustetaan kun käyttäen 1-NN Tuloksena ennuste Tutkitaan simuloimalla

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 2 – Jouni Pousi Optimointiopin seminaari – Syksy 2010 Simulaatioesimerkki: funktion ennustaminen yhdessä ja kahdessa dimensiossa virhe Huomaa, että etäisyys lähimpään naapuriin kasvaa kun

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 2 – Jouni Pousi Optimointiopin seminaari – Syksy 2010 Simulaatioesimerkki: keskimääräinen etäisyys lähimpään naapuriin useissa dimensioissa Keskimäärinen etäisyys

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 2 – Jouni Pousi Optimointiopin seminaari – Syksy 2010 Harha ja varianssi Lasketaan odotusarvoinen ennustevirhe (expected prediction error, EPE) simulaatioesimerkille Koska malli deterministinen, ennustevirhe on keskineliövirhe (mean square error, MSE) Harha kuvaa ennusteen systemaattista poikkeamaa todellisuudesta Varianssi kuvaa ennusteen vaihtelua eri koulutusaineistolla

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 2 – Jouni Pousi Optimointiopin seminaari – Syksy 2010 Simulaatioesimerkki: MSE useissa dimensioissa MSE kasvaa ‒ Kasvu johtuu harhan kasvusta Varianssi pysyy vakiona ‒ Syntyy näytteistyksestä Harha lähtee kasvamaan, koska etäisyys lähimpään naapuriin kasvaa ‒ Alussa 0, max. 1 ‒ Aineisto kertyy reunoille Huom. varianssin ja harhan suhde riippuu ennustettavasta funktiosta ja menetelmästä!

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 2 – Jouni Pousi Optimointiopin seminaari – Syksy 2010 Harha ja varianssi funktiolla Nyt MSE:n kasvusta suurin osa johtuu varianssista!

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 2 – Jouni Pousi Optimointiopin seminaari – Syksy 2010 Harha ja varianssi lineaarisen riippuvuuden tapauksessa X ja Y riippuvuus lineaarinen Sovitetaan malli pienimmän neliösumman menetelmällä (PNS) Lasketaan EPE pisteessä Ennustevirheessä nyt mukana varianssi Ei harhaa, varianssi riippuu ennustepisteestä

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 2 – Jouni Pousi Optimointiopin seminaari – Syksy 2010 EPE lineaarisessa tapauksessa useissa dimensioissa Valitaan riittävästi pisteitä ( ) Valitaan koulutusaineisto satunnaisesti Keskitetään ( ) , jolloin Odotusarvoinen ennustevirhe kasvaa vain lineaarisesti dimensioiden lukumäärän kasvaessa Toisaalta tehty voimakas oletus sopivasta mallista

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 2 – Jouni Pousi Optimointiopin seminaari – Syksy NN vs. PNS Huomataan, että tässä tapauksessa PNS aina parempi p:stä riippumatta Mikäli PNS:n takana olevat oletukset väärin, tilanne voi muuttua! Olemassa runsaasti malleja näiden ääripäiden välillä

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 2 – Jouni Pousi Optimointiopin seminaari – Syksy 2010 Yhteenveto Lokaalit menetelmät kärsivät dimensioiden kirouksesta –Voidaan ratkaista (ainakin osittain) tekemällä vahvoja oletuksia sopivista malleista –Mikäli oletukset väärin, tulokset huonoja! Odotusarvoinen ennustevirhe (EPE) voidaan jakaa harhaan ja varianssiin –Harha kuvaa ennusteen systemaattista poikkeamaa todellisuudesta –Varianssi kuvaa ennusteen vaihtelua eri koulutusaineistolla

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 2 – Jouni Pousi Optimointiopin seminaari – Syksy 2010 Esitelmä 2 – Jouni Pousi Optimointiopin seminaari – Syksy 2010 Esitelmä 2, Osa II Tilastolliset mallit, ohjattu oppiminen ja funktioiden approksimointi

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 2 – Jouni Pousi Optimointiopin seminaari – Syksy 2010 Tilastollisten mallien käyttö Syötemuuttujat Vastemuuttuja Todellinen riippuvuus Y ja X välillä Halutaan hyödyllinen approksimaatio Neliöllisen häviöfunktion minimointi  k-NN voidaan ajatella estimoivan ehdollista odotusarvoa suoraan Ongelmat: –Dimensioiden kirous –Ei hyödynnetä tietoa :n käyttäytymisestä

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 2 – Jouni Pousi Optimointiopin seminaari – Syksy 2010 :n tilastollinen malli Oletetaan, että data peräisin tilastollisesta mallista jossa –Huomaa, että tälle mallille – riippuu X:stä vain :n kautta Additiivinen virhe sisältää epävarmuuden ei- deterministisessä tapauksessa –Esim. mittausvirhe Deterministisille mallissa koepisteiden valinta satunnaisotannalla tuottaa epävarmuutta –Eri menetelmiä, joita ei käsitellä nyt

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 2 – Jouni Pousi Optimointiopin seminaari – Syksy 2010 Riippumattomuusoletukset Oletus X:n ja :n riippumattomuudesta ei välttämätön Johtaa kuitenkin luonnollisesti PNS-menetelmään Yksinkertaiset muutokset mahdollisia –Esim. Yleisesti ottaen voi riippua X:stä monimutkaisillakin tavoilla –Ei mahdollista additiivisella virhellä

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 2 – Jouni Pousi Optimointiopin seminaari – Syksy 2010 Kategorinen vaste Additiivista virhettä ei yleensä käytetä, jos vaste kategorinen Pyritään suoraan estimoimaan Esim. kaksi luokkaa, tn. kuulua luokkaan 1 Oletetaan, että data peräisin Bernoulli-prosessista

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 2 – Jouni Pousi Optimointiopin seminaari – Syksy 2010 Ohjattu oppiminen Ideana oppiminen esimerkin kautta Opetusaineisto: Havaitut syötteet annetaan algoritmille Algoritmi tuottaa estimaatin Algoritmi parantaa toimintaansa erotuksen perusteella Toivotaan, että algoritmi pystyy yleistämään opetusaineistosta muihin syötteisiin

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 2 – Jouni Pousi Optimointiopin seminaari – Syksy 2010 Funktion approksimointi Ohjattu oppiminen toimii lähtökohtana joukolle menetelmiä –Koneoppiminen, vertauskuvana ihmisten päättely –Neuroverkot, vertauskuvana hermosolut, aivot Sovellettu matematiikka ja tilastotiede: funktion approksimointi –Kirjan lähestymistapa Datapisteet pisteitä p+1 - dimensioisessa Euklidisessa avaruudessa Yleisessä tapauksessa input-muuttujat voivat myös olla diskreettejä Funktionaalinen yhteys :n ja :n välillä –Esim. Tavoitteena löytää hyödyllinen approksimaatio :lle jossakin :n osassa annettuna

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 2 – Jouni Pousi Optimointiopin seminaari – Syksy 2010 Esimerkkejä approksimaatioista Approksimaatioissa mukana parametrivektori Lineaarinen approksimaatio – –Parametrivektori Lineaariset kantakehitelmät – – esim.... Epälineaariset kantakehitelmät –Esim. neuroverkot: (sigmoidifunktio)

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 2 – Jouni Pousi Optimointiopin seminaari – Syksy 2010 Parametrien valinta Valitaan, joka minimoi jäännösneliösumman – Tietyissä tapauksissa saadaan ratkaisu suljetussa muodossa –Lineaariset approksimaatiot –Kantafunktiokehitelmät, jos kantafunktiot eivät sisällä parametreja Yleisesti numeerinen optimointitehtävä

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 2 – Jouni Pousi Optimointiopin seminaari – Syksy 2010 Suurimman uskottavuuden menetelmä Jäännösneliösumman minimointi ei aina järkevää Yleisempi lähestymistapa on suurimman uskottavuuden menetelmä Satunnaisotos peräisin tiheysjakaumasta Otokosen uskottavuusfunktio on – Suurimman uskottavuuden menetelmässä valitaan se, jolla havaittu aineisto todennäköisin

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 2 – Jouni Pousi Optimointiopin seminaari – Syksy 2010 Esimerkkejä ML-estimoinnista Pienimmän neliösumman menetelmä – –Sama kuin RSS:n minimointi Multinomijakauma kvalitatiivisen vasteen regressiofunktiolle –Tunnetaan – –Tunnetaan myös nimellä ristientropia, josta puhetta myöhemmin RSS

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 2 – Jouni Pousi Optimointiopin seminaari – Syksy 2010 Yhteenveto Tilastollisten mallien avulla pyritään approksimoidaan yhteisjakaumaa Useita eri malliluokkia Parametrien valinta –Jäännösneliösumman minimointi –Suurimman uskottavuuden menetelmää

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 2 – Jouni Pousi Optimointiopin seminaari – Syksy 2010 Kotitehtävä Kirjan tehtävä 2.3 Näytteistetään N kappaletta pisteitä p-ulotteisen pallon sisällä olevasta tasajakaumasta Johda yhtälö mediaanietäisyydelle pallon keskipisteestä lähimpään satunnaisesti näytteistettyyn pisteeseen Vihje: johda kertymäfunktio lähimmän pisteen etäisyydelle, josta määrittelet mediaanin sijainnin p-ulotteisen R-säteisen pallon tilavuus on

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 2 – Jouni Pousi Optimointiopin seminaari – Syksy 2010 Käännöksiä 1/2 Input : syöte Output : vaste Input space : syöteavaruus Output space: vasteavaruus Curse of dimensionality: dimensioiden kirous k nearest neighbour method: k:n lähimmän naapurin menetelmä Training set : opetusaineisto

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Esitelmä 2 – Jouni Pousi Optimointiopin seminaari – Syksy 2010 Käännöksiä 2/2 Expected prediction error (EPE): odotusarvoinen ennustevirhe Mean square error (MSE): keskineliövirhe Supervised learning: ohjattu oppiminen Basis expansion: kantakehitelmä Residual sum of squares (RSS): jännösneliösumma Maximum likelihood: suurin uskottavuus Likelihood function: uskottavuusfunktio