HTTPK I, kevät 2012, luento 31 3. Datan käsittely – lyhyt katsaus Havaitsevan tähtitieteen peruskurssi I, luento 2.2.2012 Thomas Hackman.

Slides:



Advertisements
Samankaltaiset esitykset
Robust LQR Control for PWM Converters: An LMI Approach
Advertisements

lämpöoppia eri lämpötila, eri aineet, loppulämpötila?
S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 10 – Juho Kokkala Optimointiopin seminaari - Syksy 2010 Kernel-tasoitus.
LPC LPCC PLP MFCC LSP/LSF Δ ΔΔ Matemaattinen kikka Levinson-Durbin
HTTPK I, kevät 2012, luento21 Havaitsevan tähtitieteen pk I, 2012 Luento 2, : Ilmakehän vaikutus havaintoihin Luennoitsija: Thomas Hackman Kuva:
Canon PowerShot SX210 IS © Ammattilaiset.
Estimointi Laajennettu Kalman-suodin
Sensorifuusio Jorma Selkäinaho.
Peruskysymys: onko asteikko luonteeltaan luokitteleva vai jatkuva?
Hypoteesin testeistä Testin valinta perustuu aina tutkimusongelmaan ja kuvailuun (joka perustuu mitta-asteikoihin) Testaus ei koskaan ole itsenäinen, vaan.
RADIOKANAVAT.
KANTATAAJUINEN BINÄÄRINEN SIIRTOJÄRJESTELMÄ AWGN-KANAVASSA
AS Automaation signaalinkäsittelymenetelmät
AS Automaation signaalinkäsittelymenetelmät
Signaalit ja muutosilmiöt 2 504T13D, 3 op. RAMK Tekniikka ja liikenne Tauno Tepsa, 2008 kevät.
KANNANVAIHTO?.
Mittaustekniikka (3 op)
1.1. Itseisarvo * luvun etäisyys nollasta E.2. Poista itseisarvot
Syksy 2001Johdatus bioinformatiikkaan / T. Pasanen 1 7. Monirinnastus Geeni perhe: ryhmä läheisiä toisilleen sukua olevia geenejä, jotka koodaavat samankaltaisia.
Digitaalinen kuvankäsittely
Murtoyhtälöt - Yhtälö, jossa nimittäjässä tuntematon
Aikasarja-analyysin perusteet
Käyttäytymistieteiden laitos
Yleiskäyttöisen tietokoneen kellosynkronisointi ja käyttö verkkoliikenteen mittauksiin Oskari Simola Diplomityöseminaari Tietoverkkolaboratorio.
Elliptiset jakaumat Esitys 6 kpl Tuomas Nikoskinen Työn saa tallentaa ja julkistaa Aalto-yliopiston avoimilla verkkosivuilla. Muilta.
tilastollinen todennäköisyys
S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010 Tukivektorikoneet.
Otanta Miksi otantaa? –suuresta perusjoukosta voidaan saada tarvittavat tiedot edullisemmin kuin kokonaistutkimuksella –kiireisyys vaatii usein otantaa.
Muuttujien riippuvuus
S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä # - Esitelmöijän nimi Optimointiopin seminaari - Syksy 2010 Lineaarinen.
lineaarinen regressio
5. Lineaarinen optimointi
4. Optimointia T
S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 4 – Jussi Kangaspunta Optimointiopin seminaari - Kevät 2007 Kaksiulotteiset kuvaukset 2/2.
Todennäköisyyslaskentaa
Kotitehtävän 21 ratkaisu Ensimmäisen havaintoaineiston luokittelu – Ryhmäkeskiarvot hakeutuvat niin, että ryhmään kuuluvat pisteet ovat mahdollisimman.
Korrelaatio Kertoo kahden muuttujan välisestä lineaarisesta yhteydestä eli kuinka hyvin toisen muuttujan avulla voidaan ennustaa toisen muuttujan vaihtelua.
Standardointi tekee eri asteikollisista muuttujista vertailukelpoisia
S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 11 – Tuomas Nummelin Optimointiopin seminaari - Syksy 2010 Lokaalit uskottavuusmenetelmät.
S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Ohjaamaton oppiminen– Heikki Vesterinen Optimointiopin seminaari - Syksy 2010 Ohjaamaton.
5. Fourier’n sarjat T
Todennäköisyyslaskentaa
S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Turkka Anttonen Systeemitieteiden kandidaattiseminaari – Syksy 2009 Epälineaariset pienimmän neliösumman.
Havaitsevan tähtitieteen peruskurssi I, yhteenveto Luento , T. Hackman & J. Näränen.
HTTPKI, kevät 2009, Yhteenveto Havaitsevan tähtitieteen peruskurssi I, yhteenveto Luento , T. Hackman & J. Näränen.
Tilastollinen testaus Mann-Whitneyn –testiä voidaan käyttää hyvin pienille n 2 ≤ 8 keskikokoisille 9 ≤ n 2 ≤ 20 suurille n 2 ≥ 20 otoksille –voidaan käyttää.
Havaitsevan tähtitieteen pk 1 luento 7, Kuvankäsittely Jyri Näränen.
HTTPKI, kevät 2010, luennot Fotometria Havaitsevan tähtitieteen peruskurssi I, luennot ja Thomas Hackman (Kalvot JN & TH)
5. Datan käsittely – lyhyt katsaus Havaitsevan tähtitieteen peruskurssi I, luento Thomas Hackman.
S ysteemianalyysin Laboratorio Aalto-yliopisto Turkka Anttonen Systeemitieteiden kandidaattiseminaari – Syksy 2010 Gauss-Newton ja Levenberg- Marquardt.
1 Kvantitatiiviset menetelmät Pienryhmäkokoontumisissa tarvitaan EK03- aineiston haastattelulomake. Sen voi tulostaa verkosta. Linkki löytyy kurssin kotisivulta:
YFIA202 Kvantitatiiviset menetelmät, luento YTT Pertti Jokivuori Syksy luento (Ti )
YFIA200 Kvantitatiiviset menetelmät, luento
VARIANSSIANALYYSI.
Lineaariset regressiomenetelmät
Monimuuttinimuuttuja-analyyseista
VaR-mallien toimivuuden testaus historian avulla (backtesting)
YFIA202 Kvantitatiiviset menetelmät, luento
YFIA202 Kvantitatiiviset menetelmät, luento
Signaalinkäsittelymenetelmät / Kari Jyrkkä
YFIA200 Kvantitatiiviset menetelmät, luento
Muuttujamuunnoksista
1.3 Ohmin laki ja resistanssi
Spektri- ja signaalianalysaattorit
Signaalien datamuunnokset
Signaalit ja järjestelmät aika- ja taajuusalueissa
Korrelaatio- ja regressioanalyysi
LUKU 1 TIETOLIIKENNEJÄRJESTELMIEN ANALYYSI
KANTATAAJUINEN BINÄÄRINEN SIIRTOJÄRJESTELMÄ AWGN-KANAVASSA
Ylinäytteistetyt A/D-muuntimet
Esityksen transkriptio:

HTTPK I, kevät 2012, luento Datan käsittely – lyhyt katsaus Havaitsevan tähtitieteen peruskurssi I, luento Thomas Hackman

HTTPK I, kevät 2012, luento Datan käsittely Sisältö  Tähtitieteellisten havaintojen virheet  Korrelaatio  Funktion sovitus  Aikasarja-analyysi

HTTPK I, kevät 2012, luento Tähtitieteellisten havaintojen virheet Satunnaiset virheet:  Kohina  Mittaustarkkuus Systemaattiset virheet:  Havaintolaitteen aiheuttamat vääristymät  Ympäristön aiheuttamat virheet (esim. ilmakehän vaikutukset havaintoihin, käsiteltiin luvussa 2)

HTTPK I, kevät 2012, luento Havaintojen kohina Signaali-kohinasuhde jossa S on kohteen signaali = rekisteröityjen kohteesta tulleiden fotonien määrä, ja N on kohina Sama spektri eri S/N -suhteella

HTTPK I, kevät 2012, luento Havaintolaitteen vaikutukset havaintoihin Aallonpituusherkkyys Resoluutio Laitteen sisäiset sironnat ja heijastumat Optiset virheet Havaintolaitteen liikkuminen Detektorin herkkyysvaihtelut (lämpötilan vaikutus, pikselien herkkyydet …)

HTTPK I, kevät 2012, luento Havainnon mittaaminen Havaintolaitteen vaikutus havaintoihin voidaan usein esittää muodossa f ovat ”todelliset” arvot, g on havaintolaitteen antama tulos, h on instrumentin aiheuttama vääristymä ja n ovat satunnaiset virheet

HTTPK I, kevät 2012, luento Virheiden poistaminen Kohinan voi suodattaa, mutta resoluutio kärsii Havaintolaitteen vääristymien korjaaminen esim. flat-field -kalibrointi Huomattavasti poikkeavat arvot: outliers  root-mean-square: jossa f on havaintoihin y sovitettava funktio.  Outlierin kriteeri:

HTTPK I, kevät 2012, luento Havaintojen redusointi Redukointi:  Poistetaan mahdollisimman paljon detektorin ja havaintomenetelmän aiheuttamia virheitä  Muutetaan havainnot analyysissa tarvittavaan muotoon Esim. 2-uloitteinen CCD kuva  spektri Huom. väärin tehty redukointi  Menetetään informaatiota tai vääristetään dataa Tarve määrittää mitä tehdään, esim.:  Parempi S/N  huonompi resoluutio

HTTPK I, kevät 2012, luento Datan korrelaatio Korrelaatio kertoo kahden muuttajan välisestä riippuvuudesta Korrelaatiokertoimia:  Pearsonin korrelaatiokerroin  Spearmanin järjestyskorrelaatiokerroin  Kendallin järjestyskorrelaatiokerroin

HTTPK I, kevät 2012, luento Pearsonin korrelaatiokerroin Mittaa lineaarista riippuvuutta Otoksen hajonta: jossa x on keskiarvo Kahden muuttujan välinen kovarianssi: Pearsonin korrelaatiokerroin:

HTTPK I, kevät 2012, luento Korrelaation todennäköisyys Nollahypoteesi: x ja y eivät korreloi Oletetaan: x ja y :lle on saatu r xy Mikä on nollahypoteesin todennäköisyys?  Jos N on suuri ( N>20 ) => r xy noudattaa normaalijakaumaa  Merkitään  => todennäköisyys että korrelaatio ”sattumalta” olisi suurempi kuin r xy :

HTTPK I, kevät 2012, luento Funktion sovitus Sovituksen kriteeri yleensä mahdollisimman pieni virheiden neliöiden summa:  Sopii erityisesti, jos virheet ovat satunnaisia gaussisesti jakaantuneita

HTTPK I, kevät 2012, luento Pienimmän neliösumman menetelmä Sovitettava funktio: Määritellään: ovat pisteet johon sovitetaan funktio

HTTPK I, kevät 2012, luento Pienimmän neliösumman menetelmän ratkaisu Jos N=K saadaan yksiselitteinen ratkaisu yhtälöstä A a = y Kuitenkin jotta sovitus olisi luotettava niin Etsimme ratkaisua jossa on mahdollisimman pieni => ratkaisu saadaan normaaliyhtälöistä:

HTTPK I, kevät 2012, luento Suoran sovitus Sovitettava funktio

HTTPK I, kevät 2012, luento Ratkaisu suoran sovitukseen Saamme ratkaisun yhtälöryhmästä Merkitään ratkaisu:

HTTPK I, kevät 2012, luento Virheiden huomioiminen pns:n sovituksessa Mittausten hajontaa kuvaa yleisessä tapauksessa kovarianssimatriisi: Jos virheet riippumattomia:

HTTPK I, kevät 2012, luento Virheiden huomioiminen pns:n sovituksessa Normaaliyhtälöt saadaan muotoon Merkitään Ratkaisu on Kertoimien a i virheet saadaan matriisista C -1

HTTPK I, kevät 2012, luento Epälineaarinen sovitus Esitetyllä pienimmän neliösumman menetelmällä voidaan ratkaista vain lineaarisia ongelmia Epälineaaristen ongelmien ratkaisuja  Ongelman muuttaminen lineaariseen muotoon Esim. Tarkkaan ottaen ei kuitenkaan enää saada alkuperäisen funktion parametreille pns:n sovitusta  Erilaiset optimointimenetelmät Eivät välttämättä anna globaalia minimiä vaan lokaali minimi

HTTPK I, kevät 2012, luento Aikasarja-analyysi Parametriset menetelmät:  Sovitetaan dataan jaksollinen funktio  Esim. Fourier sarjan sovitus Ei-parametriset menetelmät:  Etsitään periodisuutta esim. datan maksimeista tai minimeistä  Esim. Kuiper- tai Swanepoel & De Beer - menetelmät

HTTPK I, kevät 2012, luento Fourier-sarjan sovitus Malli: Huom.: Malli on epälineaarinen => ratkaisua ei saada suoraan pienimmän neliösumman menetelmällä Ratkaisumenetelmä: Three stage period analysis (Jetsu & Pelt 1999) keskiarvo periodi

HTTPK I, kevät 2012, luento Esimerkki aikasarja-analyysista Tähden HD valokäyrä, Aikasarja-analyysi

HTTPK I, kevät 2012, luento Jaksollisen käyrän sovittaminen: Tähti-planeettajärjestelmä Sisärata: M=7.7 M Jup ; ulkorata: M=17M Jup Marcy et al., 1999, 2001

HTTPK I, kevät 2012, luento 3 24 Kirjallisuutta H. Karttunen: Datan käsittely, CSC 1994 W.H. Press et al.: Numerical recipes, kotisivu:

5.1.5 CCD kuvien jälkikäsittely CCD kuvien laatua voidaan huomattavasti parantaa jälkikäsittelyllä Yleisimpiä ovat bias, dark ja flat-field - korjaukset  myös esim. CCDn interferenssikuviota, kuvakentän vääristymiä, sekä hyvin käyttäytyvää taustavalogradienttia voidaan mallintaa ja korjata pois kuvasta 25 HTTPK I, kevät 2012, luento 3

Bias CCD siruun etukäteen luettu jännite, jolla estetään heikon signaalin leikkaantuminen A/D muuntimessa Bias -tasoa on hyvä mitata muutamaan otteeseen yön aikana (vähintään illalla ja aamulla) jos käytössä ei ole overscan aluettaa tai jos ei ole täysin luottavainen, ettei se muutu Kuvia kannattaa ottaa useita, jotta saadaan hyvää statistiikkaa kuvista (pätee muihinkin kalibrointikuviin) 26 HTTPK I, kevät 2012, luento 3

Flat field Eri pikseleillä on erilainen herkkyys Myös detektorin ikkunassa tai suodattimella oleva pöly yms. aiheuttaa kaikenlaisia varjostuskuvioita Herkkyyserot ja varjostukset voidaan mitata ja poistaa havaitsemalla tasaisesti valaistua taustaa (ilta-/aamuhämärä tai erityinen flat field valaistus kuvussa) hyvällä S/N tasolla Flat field on aallonpituusriippuvainen Flat field sisältää sekä biaksen, että darkin 27 HTTPK I, kevät 2012, luento 3

Dark Pimeän virran poistamiseksi on otettava kuvia suljin kiinni samalla detektorin lämpötilalla ja valotusajalla kuin varsinainen datakin on otettu (kohinan määrä on ajan ja lämpötilan funktio epälineaarisesti) Uudenaikaisissa tieteellisissä kameroissa (mm. jäähdytys kunnossa) käytännössä voi usein jättää tekemättä Darkit sisältävät myös bias tason 28 HTTPK I, kevät 2012, luento 3

5.1.6 CCD-kuvan redusoiminen Kuvat: Bias, dark, flat-field, fringing (Mischa Schirmer) HTTPK I, kevät 2012, luento 3 29

5.1.6 CCD-kuvan redusoiminen 1. CCD –kuvien operaatiot helppoja, sillä kuva on periaatteessa matriisi 2. Datasta, darkista ja flatista vähennetään keskiarvoistettu bias (ns. masterbias) 3. Datasta ja flatista vähennetään keskiarvoistettu dark (masterdark) (oikealla valotusajalla sekä lämpötilalla) 4. Flatit keskiarvoistetaan ja normeerataan ykköseen (masterflat) 5. Data jaetaan masterflatilla 6. Poistetaan interferenssikuviot, kosmiset säteet, hajavalo yms. niin hyvin kuin voidaan 30 HTTPK I, kevät 2012, luento 3

5.1.6 CCD-kuvan redusoiminen Masterbias=∑bias/nbias Masterdark=∑(dark-masterbias)/ndark Masterflat=∑(flat-masterdark- masterbias)/nflat/avgflat Korjattu data=(Data-masterbias- masterdark)/masterflat 31 HTTPK I, kevät 2012, luento 3

5.1.7 CCD-datan S/N Mitataan tähden kirkkautta käyttäen n pix pikseliä N * on tähdestä tuleva signaali N S, N D ja R ovat taustataivaan taso, pimeävirta sekä lukukohina pikseliä kohti HTTPK I, kevät 2012, luento 3 32