S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Ohjaamaton oppiminen– Heikki Vesterinen Optimointiopin seminaari - Syksy 2010 Ohjaamaton oppiminen

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Ohjaamaton oppiminen– Heikki Vesterinen Optimointiopin seminaari - Syksy 2010 Ohjattu oppiminen vs. ohjaamaton oppiminen Ohjattu oppiminen: –Tavoitteena ennustaa muuttujan Y arvoja muuttujien X T =(X 1,…,X p ) avulla. –Ennustamiseen käytettävä malli muodostetaan harjoitusaineiston (x 1,y 1 ),…, (x N,y N ) perusteella. –Mallin hyvyyttä voidaan arvioida virhefunktion L(y,ŷ) avulla, esimerkiksi L(y,ŷ) = (y – ŷ) 2. –Ohjattua oppimista voidaan luonnehtia ehdollisen jakauman Pr(Y|X) ominaisuuksien estimoimiseksi.

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Ohjaamaton oppiminen– Heikki Vesterinen Optimointiopin seminaari - Syksy 2010 Ohjattu oppiminen vs. ohjaamaton oppiminen Ohjaamaton oppiminen: –Tavoitteena tutkia havaintojoukon (x 1,x 2,…,x N ) ominaisuuksia, missä x i ϵ ℝ p. –Harjoitusaineistona on havaintojoukko, mutta käytössä ei ole ”oikeita vastauksia”. –Mallin hyvyyden arvioimiseksi ei ole yhtä selkeitä mittareita kuin ohjatun oppimisen ongelmissa. –Ohjaamatonta oppimista voidaan luonnehtia jakauman Pr(X) ominaisuuksien selvittämiseksi.

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Ohjaamaton oppiminen– Heikki Vesterinen Optimointiopin seminaari - Syksy 2010 Esimerkit luokitteluongelmista Ohjatun oppimisen luokitteluongelma: Muodosta päätösraja luokkien välille. Ohjaamattoman oppimisen luokitteluongelma: Muodostuuko havaintoaineisto useasta luokasta?

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Ohjaamaton oppiminen– Heikki Vesterinen Optimointiopin seminaari - Syksy 2010 Ohjaamaton oppiminen Kun p on pieni (≤ 3), voidaan jakauman tiheysfunktio estimoida tehokkaasti käyttämällä parametrittomia menetelmiä, esimerkiksi Kernel-tiheysestimointia. Usean ulottuvuuden ongelmissa (p >> 3) parametrittomat menetelmät eivät toimi. (Dimensioiden kirous) –Käytetään globaaleja malleja. –Pyritään löytämään X-avaruuden alueita, joissa Pr(X) on suhteellisesti suuri.

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Ohjaamaton oppiminen– Heikki Vesterinen Optimointiopin seminaari - Syksy 2010 Ohjaamattoman oppimisen menetelmiä Pääkomponenttianalyysi, moniulotteinen skaalaus, itseorganisoituva kartta, principal curves… –Tavoitteena etsiä X-avaruuden matalaulotteinen osajoukko, jossa Pr(X) on suhteellisesti suuri. Ryhmittelyanalyysi, sekoitemallit –Tavoitteena etsiä X-avaruuden alueita, jotka sisältävät Pr(X):n moodeja

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Ohjaamaton oppiminen– Heikki Vesterinen Optimointiopin seminaari - Syksy 2010 Ohjaamattoman oppimisen menetelmiä Assosiaatiosäännöt –Etsii useaulotteisesta aineistosta yksinkertaisia säännönmukaisuuksia, jotka vastaavat korkeita todennäköisyystiheyksiä –Käytetään hyvin useaulotteisen binääriaineiston analysoimiseen.

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Ohjaamaton oppiminen– Heikki Vesterinen Optimointiopin seminaari - Syksy 2010 Ryhmittelyanalyysi

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Ohjaamaton oppiminen– Heikki Vesterinen Optimointiopin seminaari - Syksy 2010 Erilaisuuden mittoja muuttujille

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Ohjaamaton oppiminen– Heikki Vesterinen Optimointiopin seminaari - Syksy 2010 Erilaisuuden mittoja havainnoille

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Ohjaamaton oppiminen– Heikki Vesterinen Optimointiopin seminaari - Syksy 2010 Kombinatoriset algoritmit

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Ohjaamaton oppiminen– Heikki Vesterinen Optimointiopin seminaari - Syksy 2010 Kombinatoriset algoritmit

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Ohjaamaton oppiminen– Heikki Vesterinen Optimointiopin seminaari - Syksy 2010 K-keskiarvoa ryhmittely

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Ohjaamaton oppiminen– Heikki Vesterinen Optimointiopin seminaari - Syksy 2010 K-keskiarvoa ryhmittely

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Ohjaamaton oppiminen– Heikki Vesterinen Optimointiopin seminaari - Syksy 2010 Algoritmi optimin ratkaisemiseksi 1.Valitaan lähtöarvot: ositus ja arvot m 1,…,m K 2.Päivitetään jokaisessa ryhmässä k ryhmää vastaava m k :n arvo ryhmän keskiarvoksi. 3.Muodostetaan uudet ryhmät siten, että jokainen havainto kuuluu sitä lähimpänä olevaa m k :ta vastaavaan ryhmään. 4.Toistetaan kohtia 2 ja 3 kunnes ryhmät eivät enää muutu.

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Ohjaamaton oppiminen– Heikki Vesterinen Optimointiopin seminaari - Syksy 2010 Algoritmi optimin ratkaisemiseksi Algoritmin askeleet 2 ja 3 pienentävät aina kohdefunktion arvoa, joten algoritmin suppeneminen on taattu. Löydetty ratkaisu voi olla alioptimaalinen. Globaalin optimin etsimiseksi voidaan käyttää useita lähtöarvoja ja valita paras saaduista paikallisista optimeista.

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Ohjaamaton oppiminen– Heikki Vesterinen Optimointiopin seminaari - Syksy 2010 Esimerkkisovellus Kuvassa 1024x1024 pikseliä. 8 bittiä/pikseli Muodostetaan ”havainnot” 2x2 pikselin paloista, jolloin saadaan 512x512 4-ulotteista vektoria. Ryhmitellään nämä vektorit 200 ryhmään ja tallennetaan jokaisesta 2x2 palasta vain ryhmän keskiarvo. Kuva voidaan rekonstruoida korvaamalla 2x2 palat tallennetulla ryhmäkeskiarvolla.

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Ohjaamaton oppiminen– Heikki Vesterinen Optimointiopin seminaari - Syksy 2010 Esimerkkisovellus Vasemmalla on alkuperäinen kuva Keskellä oleva kuva on pakattu käyttäen 200 ryhmää. Kuva vie 23,9% muistia alkuperäiseen kuvaan nähden. Oikealla oleva kuva on pakattu käyttäen vain neljää ryhmää. Kuva vie 6,25% muistia alkuperäiseen kuvaan nähden.

S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Ohjaamaton oppiminen– Heikki Vesterinen Optimointiopin seminaari - Syksy 2010 Kotitehtävä Havaintoaineistot 1 ja 2 (m-tiedostossa määritelty) sisältävät molemmat 600 havaintoa, jotka ovat peräisin kolmesta normaalijakaumasta. Ryhmittele molempien havaintoaineistojen havainnot kolmeen ryhmään K-keskiarvoa-menetelmällä. Käytä apuna ohessa olevaa m-tiedostoa. Miksi menetelmä luokittelee ensimmäisen havaintoaineiston huomattavasti paremmin, vaikka toisessa aineistossa ryhmät ovat selkeämmin erillään toisistaan?