REGRESSIOANALYYSI

REGRESSIOANALYYSIN PERIAATE Analysoidaan selitettävän eli vaste-muuttujan ja selittävien muuttujien välillä vallitsevaa suoraviivaista yhteyttä Pyritään löytämään muuttujien välistä yhteyttä kuvaava yhtälö – selitettävän muuttujan arvojen ”ennustaminen” selittävien muuttujien arvojen perusteella Riippuvuuden suunta ja voimakkuus

REGRESSIOANALYYSIN PERUSOLETUKSET Muuttujat vähintään välimatka-asteikollisia Riippuvuus on suoraviivainen (lineaarinen) Selittävät muuttujat eivät saa korreloida keskenään voimakkaasti (multikollineaarisuus) Vastemuuttujan hajonta on selittävien muut-tujien arvoista riippumaton (homoskedas-tisuus) Jäännösmuuttuja noudattaa normaalijakaumaa Oletusten paikkansa pitävyys mahdollistaa sen, että tulosten perusteella voidaan tehdä päätelmiä perusjoukosta, jota otos edustaa (tilastollinen päättely)

DUMMY-MUUTTUJAT Luokittelu- ja järjestysasteikollisia selittäjiä voidaan analysoida tekemällä niistä dummy-muuttujia Kaksiluokkaisen muuttujan arvot 0 ja 1 Moniluokkaiselle muuttujalle koodataan yksi luokista ykköseksi, muut nollaksi Miten selitettävän muuttujan arvo muuttuu, kun siirrytään dummy-muuttujan luokasta 0 luokkaan 1 Analyysista pois jätetty luokka vertailu-luokkana

REGRESSIOMALLI YHDELLE SELITTÄJÄLLE y = a + bx + e, missä y= selitettävä muuttuja a = vakiotermi (kohta, jossa regressiosuora leikkaa y-akselin selittävän muuttujan arvolla 0; constant, intercept) b= regressiokerroin (regressiosuoran kulmakerroin, beta) e=virhetermi (regressiosuoralla selittämättä jäänyt selitettävän muuttujan vaihtelu, residual, error term)

YHTEYDEN SUUNTA y y * * y=a-bx+e y=a+bx+e * * * * * * * * e * * * * *

REGRESSIOMALLI USEALLE SELITTÄJÄLLE y = a + b1x1+ b2x2 + … bixi + e, missä selittäviä muuttujia on i kappaletta

REGRESSIOANALYYSIN MERKITYS Regressiokerroin kertoo, kuinka paljon yhden yksikön suuruinen muutos selittä-vässä muuttujassa vaikuttaa selitettävään muuttujaan Standardoidun regressiokertoimen avulla voidaan verrata muuttujien suhteellista selityskykyä, mutta vain kyseisessä aineistossa Saadaan tietoa yksittäisen selittävän tekijän merkityksestä, kun muiden selittäjien vaikutus on otettu huomioon

KERROINTEN ESTIMOINTI Etsitään havaintoaineistoon parhaiten sopiva malli (the line of best fit) = kaikki havaintojen poikkeamat suorasta minimoitu Pienimmän neliösumman menetelmä (PNS, least squares) – virheiden neliöt e2 mahdollisimman pienet Jos regressiokerroin on nolla, selittäjän ja selitettävän välillä ei ole yhteyttä

SELITETTÄVÄN JA SELITTÄVIEN MUUTTUJIEN YHTEYDEN MITTALUVUT Regressiokerrointen ”hyvyyttä” (= selit-täjän merkitystä) testataan t-testillä kerroin jaetaan varianssillaan Korkea t-arvo (noin 2 tai suurempi) tai p<0.05 => selittäjä käyttökelpoinen Ei vielä kerro selittäjän selitysvoimasta

MALLIN RAKENTAMINEN – LISÄÄVÄ MENETTELY Menettely selittäjien lisäämiseksi (forward selection) ensin valitaan selittäjä, jolla yksinään suurin selitysvoima tämän jälkeen vuorollaan ne, joilla eniten lisäselitysvoimaa ja jotka parantavat mallin selitysosuutta tilastollisesti merkitsevästi multikollineaarisuus ei ongelma

MALLIN RAKENTAMINEN – POISTAVA MENETTELY Menettely selittäjien poistamiseksi (backward elimination) selittäjien joukosta poistetaan yksi kerrallaan selitysvoimaltaan heikoin jäljelle jääneet ja selitysvoimaltaan tilastollisesti merkitsevät muuttujat muodostavat parhaan mallin => Onko malli mielekäs teoreetti-sesti ?

MALLIN RAKENTAMINEN – ASKELTAVA MENETTELY Askeltava menettely (stepwise selection) yhdistää lisäävän ja poista-van menettelyn Muuttujia lisätään ja poistetaan mallin sovituksen kuluessa Voidaan myös pakottaa halutut selittä-jät malliin (forsing) Monien menettelyjen vertaaminen parhaan tuloksen saavuttamiseksi

MALLIN SOPIVUUDEN ARVIOINTI Varianssianalyysilla (F-testi) testataan, onko kyseinen regressiomalli käyttökelpoinen vastemuuttujan vaihtelun selittämiseksi Testaa, ovatko kaikki regressiokertoimet nollia vai eivät Jos koko mallin merkitsevyys on suuri, yleensä myös yksittäisten selittäjien merkitsevyys on suuri Mallin sopivuutta kutsutaan mallin hyvyydeksi (the goodness of fit)

SELITYSASTE Multippelikorrelaatiokerroin R (multiple correlation) eli havaittujen ja mallin avulla ennustettujen y-muuttujan arvojen välinen korrelaatio R2 * 100 = mallin selitysaste (determinaatio-kerroin kertoo, kuinka monta prosenttia malli pystyy selittämään vastemuuttujan vaihtelusta R2 =regressiomallin selittämä osuus vasteen vaihtelusta jaettuna selittymättömällä osalla R2adj = korjattu selitysaste – ottaa huomioon muuttujien määrän ja otoskoon => kahden analyysin vertailu mahdollista

DIAGNOSTIIKKA Jäännösten normaalisuus eli asettuvatko suoralle kuviossa ”normal probability plot” Jäännösten jakauman tasaisuus (varianssien yhtäsuuruus) eli homoskedastisuus kuvioista, joissa kuvataan (standardoidut) jäännökset ja (standardoidut) ennustearvot sekä jäännökset ja kunkin yksittäisen selittävän muuttujan arvot (scatter plot) jos kuviossa esiintyy selkeää rakennetta, oletus ei pidä paikkaansa Muuttujamuunnokset mahdollisena ratkaisuna

OUTLIER-ARVOT Ongelmien taustalla saattaa olla outlier-arvoja eli muista havainnoista suuresti poikkeavia ja harhaa aiheutta-via arvoja Löytämiseen tapauskohtainen kuvio (casewise plot) Voidaan poistaa havainnot, joilla standardoidut jäännökset ovat suuria => analyysin suorittaminen uudelleen