5. Datan käsittely – lyhyt katsaus Havaitsevan tähtitieteen peruskurssi I, luento 7.4.2006 Thomas Hackman.

Slides:



Advertisements
Samankaltaiset esitykset
Yleistä Läsnäolovelvollisuus Poissaolojen selvitys Käyttäytyminen
Advertisements

Mittauksista Petteri Sappinen.
lämpöoppia eri lämpötila, eri aineet, loppulämpötila?
S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 10 – Juho Kokkala Optimointiopin seminaari - Syksy 2010 Kernel-tasoitus.
HTTPK I, kevät 2012, luento21 Havaitsevan tähtitieteen pk I, 2012 Luento 2, : Ilmakehän vaikutus havaintoihin Luennoitsija: Thomas Hackman Kuva:
Estimointi Laajennettu Kalman-suodin
ATTRIBUUTTITARKASTUS
Peruskysymys: onko asteikko luonteeltaan luokitteleva vai jatkuva?
Hypoteesin testeistä Testin valinta perustuu aina tutkimusongelmaan ja kuvailuun (joka perustuu mitta-asteikoihin) Testaus ei koskaan ole itsenäinen, vaan.
RADIOKANAVAT.
AS Automaation signaalinkäsittelymenetelmät
AS Automaation signaalinkäsittelymenetelmät
Signaalit ja muutosilmiöt 2 504T13D, 3 op. RAMK Tekniikka ja liikenne Tauno Tepsa, 2008 kevät.
Mittaustekniikka (3 op)
Syksy 2001Johdatus bioinformatiikkaan / T. Pasanen 1 7. Monirinnastus Geeni perhe: ryhmä läheisiä toisilleen sukua olevia geenejä, jotka koodaavat samankaltaisia.
TUME II / Tilastollinen osuus Tilastollinen riippuvuus
Digitaalinen kuvankäsittely
Murtoyhtälöt - Yhtälö, jossa nimittäjässä tuntematon
Tilastollisia menetelmiä
Aikasarja-analyysin perusteet
Käyttäytymistieteiden laitos
*14. Kolmiossa yksi kärki on origossa, toinen pisteessä A= (9, 0), B=(3,6) Osoita, että kolmion pyörähtäessä x-akselin ympäri syntyvän kappaleen tilavuus.
tilastollinen todennäköisyys
Otanta Miksi otantaa? –suuresta perusjoukosta voidaan saada tarvittavat tiedot edullisemmin kuin kokonaistutkimuksella –kiireisyys vaatii usein otantaa.
Muuttujien riippuvuus
S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Lineaarinen.
lineaarinen regressio
4. Optimointia T
Todennäköisyyslaskentaa
Kotitehtävän 21 ratkaisu Ensimmäisen havaintoaineiston luokittelu – Ryhmäkeskiarvot hakeutuvat niin, että ryhmään kuuluvat pisteet ovat mahdollisimman.
Tilastollinen testaus Χ 2 -testi nelikentässä kaikkein yksinkertaisin lähtökohta tilastolliselle testille Esim. materiaalin (rauta tai pronssi) ja korun.
Korrelaatio Kertoo kahden muuttujan välisestä lineaarisesta yhteydestä eli kuinka hyvin toisen muuttujan avulla voidaan ennustaa toisen muuttujan vaihtelua.
Standardointi tekee eri asteikollisista muuttujista vertailukelpoisia
S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 11 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Lokaalit uskottavuusmenetelmät.
Funktio.
S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Ohjaamaton oppiminen– Heikki Vesterinen Optimointiopin seminaari - Syksy 2010 Ohjaamaton.
5. Fourier’n sarjat T
Todennäköisyyslaskentaa
S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Turkka Anttonen Systeemitieteiden kandidaattiseminaari – Syksy 2009 Epälineaariset pienimmän neliösumman.
Havaitsevan tähtitieteen peruskurssi I, yhteenveto Luento , T. Hackman & J. Näränen.
HTTPKI, kevät 2009, Yhteenveto Havaitsevan tähtitieteen peruskurssi I, yhteenveto Luento , T. Hackman & J. Näränen.
Tilastollinen testaus Mann-Whitneyn –testiä voidaan käyttää hyvin pienille n 2 ≤ 8 keskikokoisille 9 ≤ n 2 ≤ 20 suurille n 2 ≥ 20 otoksille –voidaan käyttää.
Havaitsevan tähtitieteen peruskurssi I, kevät 2010 Luennoitsijat: FT J. Näränen ja FT T. Hackman Luentoajat: To 14-16, periodit 3-4 Kotisivu:
Havaitsevan tähtitieteen peruskurssi I, kevät 2012 Luennoitsijat: FT Thomas Hackman & FT Veli-Matti Pelkonen Luentoajat: To 14-16, periodit 3-4 Kotisivu:
Porin Yksikkö / Elektroniikka Tanja Jokinen 1ELEP-1210 Elektroniikan peruskurssi ELEP-1210 ELEKTRONIIKAN PERUSKURSSI 5 op Kevät 2007 www-sivut:
HTTPK I, kevät 2012, luento Datan käsittely – lyhyt katsaus Havaitsevan tähtitieteen peruskurssi I, luento Thomas Hackman.
Keskinopeus.
S ysteemianalyysin Laboratorio Aalto-yliopisto Turkka Anttonen Systeemitieteiden kandidaattiseminaari – Syksy 2010 Gauss-Newton ja Levenberg- Marquardt.
Laboratoriotyö Putoamiskiihtyvyyden määrittäminen Yksin tai parin kanssa.
1 Kvantitatiiviset menetelmät Pienryhmäkokoontumisissa tarvitaan EK03- aineiston haastattelulomake. Sen voi tulostaa verkosta. Linkki löytyy kurssin kotisivulta:
YFIA202 Kvantitatiiviset menetelmät, luento YTT Pertti Jokivuori Syksy luento (Ti )
YFIA200 Kvantitatiiviset menetelmät, luento
VARIANSSIANALYYSI.
Monimuuttinimuuttuja-analyyseista
VaR-mallien toimivuuden testaus historian avulla (backtesting)
YFIA202 Kvantitatiiviset menetelmät, luento
YFIA202 Kvantitatiiviset menetelmät, luento
Suoran yhtälön muodostaminen, kun suoralta tunnetaan 2 pistettä
YFIA200 Kvantitatiiviset menetelmät, luento
Muuttujamuunnoksista
1.3 Ohmin laki ja resistanssi
Spektri- ja signaalianalysaattorit
Signaalit ja järjestelmät aika- ja taajuusalueissa
Arvioinnista arkipäivää
Korrelaatio- ja regressioanalyysi
Ylinäytteistetyt A/D-muuntimet
Kertausta FUNKTIOISTA MAB5-kurssin jälkeen (Beta 2.0)
Luento V. Typologia ja tilastotiede
Taulukko 1. Yhden tabletin keskimääräinen raudan massa [mg]
Luento V. Typologia ja tilastotiede
Esityksen transkriptio:

5. Datan käsittely – lyhyt katsaus Havaitsevan tähtitieteen peruskurssi I, luento Thomas Hackman

5. Datan käsittely Sisältö  Tähtitieteellisten havaintojen virheet  Korrelaatio  Funktion sovitus  Aikasarja-analyysi

5.1 Tähtitieteellisten havaintojen virheet Satunnaiset virheet:  Kohina  Mittaustarkkuus Systemaattiset virheet:  Havaintolaitteen aiheuttamat vääristymät  Ympäristön aiheuttamat virheet (esim. ilmakehän vaikutukset havaintoihin, käsiteltiin luvussa 2)

5.1.1 Havaintojen kohina Signaali-kohinasuhde jossa S on signaali = rekisteröityjen fotonien määrä, ja N on kohina Sama spektri eri S/N -suhteella

5.1.2 Havaintolaitteen vaikutukset havaintoihin Aallonpituusherkkyys Resoluutio Laitteen sisäiset sironnat ja heijastumat Optiset virheet Havaintolaitteen liikkuminen Detektorin herkkyysvaihtelut (lämpötilan vaikutus, pikselien herkkyydet …) ym.

5.1.3 Havainnon mittaaminen Havaintolaitteen vaikutus havaintoihin voidaan usein esittää muodossa f ovat ”todelliset” arvot, g on havaintolaitteen antama tulos, h on instrumentin aiheuttama vääristymä ja n ovat satunnaiset virheet

5.1.4 Virheiden poistaminen Kohinan voi suodattaa, mutta resoluutio kärsii Havaintolaitteen vääristymien korjaaminen esim. flat-field -korjaus Huomattavasti poikkeavat arvot: outliers  root-mean-square: jossa f on havaintoihin y sovitettava funktio.  Outlierin kriteeri:

5.2 Korrelaatio Korrelaatio kertoo kahden muuttajan välisestä riippuvuudesta Korrelaatiokertoimia:  Pearson korrelaatiokerroin  Spearman järjestyskorrelaatiokerroin  Kendallin järjestyskorrelaatiokerroin

5.2.1 Pearsonin korrelaatiokerroin Mittaa lineaarista riippuvuutta Otoksen hajonta: jossa x on keskiarvo Kahden muuttujan välinen kovarianssi: Pearsonin korrelaatiokerroin:

5.2.2 Korrelaation todennäköisyys Nollahypoteesi: x ja y eivät korreloi Oletetaan: x ja y :lle on saatu r xy Mikä on nollahypoteesin todennäköisyys?  Jos N on suuri ( N>20 ) => r xy noudattaa normaalijakaumaa  Merkitään  => todennäköisyys että korrelaatio ”sattumalta” olisi suurempi kuin r xy :

5.3 Funktion sovitus Sovituksen kriteeri yleensä mahdollisimman pieni virheiden neliöiden summa:  Sopii erityisesti, jos virheet ovat satunnaisia gaussisesti jakaantuneita

5.3.1 Pienimmän neliösumman menetelmä Sovitettava funktio: Määritellään: ovat pisteet johon sovitetaan funktio

Pienimmän neliösumman menetelmän ratkaisu Jos N=K saadaan yksiselitteinen ratkaisu yhtälöstä A a = y Kuitenkin jotta sovitus olisi luotettava niin Etsimme ratkaisua jossa on mahdollisimman pieni => ratkaisu saadaan normaaliyhtälöistä:

5.3.2 Suoran sovitus Sovitettava funktio

Ratkaisu suoran sovitukseen Saamme ratkaisun yhtälöryhmästä Merkitään ratkaisu:

5.4 Aikasarja-analyysi Parametriset menetelmät:  Sovitetaan dataan jaksollinen funktio  Esim. Fourier sarjan sovitus Ei-parametriset menetelmät:  Etsitään periodisuutta esim. datan maksimeista tai minimeistä  Esim. Kuiper- tai Swanepoel & De Beer - menetelmät

Fourier-sarjan sovitus Malli: Huom.: Malli on epälineaarinen => ratkaisua ei saada suoraan pienimmän neliösumman menetelmällä Ratkaisumenetelmä: Three stage period analysis (Jetsu & Pelt 1999) keskiarvo periodi

Esimerkki aikasarja-analyysista Tähden HD valokäyrä, Aikasarja-analyysi

Kirjallisuutta H. Karttunen: Datan käsittely, CSC 1994 W.H. Press et al.: Numerical recipes, kotisivu:

Kurssitiedote: Metsähovin keikka klo Kokoontuminen A.I. Virtasen aukiolla Lähtö Metsähoviin klo 18.00, tilattu linja-auto Metsähovissa n. klo :  Teleskoopin ja CCD-kameran esittelyä  Havainnot jos sää sallii Vierailu pakollinen osa kurssia, ”keräilyerä” järjestetään myöhemmin