Ihmisen biologiset signaalit (hyötykäytössä ihminen-kone käyttöliittymissä) Toni Auranen, 23.1.2002 (S-114.740 Biological H-M Interfaces, 2 ov, L) Kuvat kirjoista: Psychophysiological Recording (R. M. Stern, W. J. Ray, K. S. Quicgley) Psychophysiology (Kenneth Hugdahl)

Kysymyksiä Minkälaisia biologisia signaaleja on olemassa? Mitä näistä voidaan mitata? Miten näitä voidaan mitata? Mitä voidaan mitata luotettavasti? Mitä hyötyä mittauksista/tuloksista on? (hyöty = soveltuu ihminen-kone käyttöliittymiin)

Yleistä psykofysiologia millaisia fysiologisia muutoksia psyykkiset prosessit saavat aikaan kehitys omana alana alkoi 1950-luvulla John Stern, 1964: ”…any research in which the dependent variable is a physiological measure and the independent variable a behavioral one.” aivojen sähköiset ilmiöt, sydämenlyönnit,…

Yleistä fysiologinen psykologia Kumpi oli ensin – muna vai kana? millaisia psykologisia muutoksia fysiologiset prosessit saavat aikaan vastakkaisuus Sternin määritelmään nykyään esim. sydämen lyöntitiheyttä voidaan muokata ja tutkia sen psyykkisiä vaikutuksia Alzheimerin tauti, rytmihäiriöt,… Kumpi oli ensin – muna vai kana?

Hermosto ääreishermosto (peripheral nervous system) somaattinen hermosto – tahdosta riippuva tiedot aisteilta, lihasten säätely… autonominen hermosto – tahdosta riippumaton esim. sisäelinten toiminta sympaattinen (energiavarastoja kuluttava) ja parasympaattinen (energiavarastoja tuottava) osa keskushermosto (central nervous system) aivot ja selkäydin ohjaa kaikkea mitä kehossa tapahtuu

aivoissa aivolohkot hermoston osat erikoistuneet eri asioihin motorinen, somatosensorinen, visuaalinen,… hermoston osat keskushermosto (CNS) ääreishermosto (PNS)

Biologisia signaaleja aivojen sähköinen toiminta electroencephalography, EEG magnetoencephalography, MEG veren virtaus aivoissa positron emission tomography, PET functional magnetic resonance imaging, fMRI sydämen sähköinen toiminta electrocardiography, EKG/ECG

Biologisia signaaleja verenpaine (ja veren virtaus) hengityselimistön toiminta vatsan sähköinen ja mekaaninen toiminta electrogastrography, EGG lihaskudosten sähköinen toiminta electromyography, EMG

Biologisia signaaleja silmänliikkeet ja pupillin toiminta electrooculography, EOG pupillography ihon sähkönjohtokyky electrodermal activity, EDA Onko muita signaaleja? Mistä signaaleista on hyötyä ajatellen I-K käyttöliittymiä?

EEG electroencephalogram – aivosähkökäyrä pään pinnalta mitattua aivojen sähköistä toimintaa aivojen hermosolujen elektrokemiallinen toiminta tuottaa sähköä (suuruusluokka mikrovolteissa) miljoonat solut aktivoituvat samanaikaisesti yksinkertaisesti: kyseessä on kahden elektrodin potentiaaliero 1…45 Hz, referenssit, häiriöherkkyys… päänahalla jopa 256 elektrodia elektrodit, lakit…

alpha-rytmiä beta-rytmiä elektrodien paikat

EEG ihmisillä ensimmäisenä mittasi Hans Berger, 1929 EEG:ssä havaitaan selviä muutoksia erilaisten suoritteiden aikana keskittyminen, rentoutuminen, muistitehtävät, visuaaliset vasteet, vasteet akustisille ärsykkeille… signaalit keskiarvoistettava  vaatii monta toistoa laitteet aikaisemmin suuria, nykyään taskukokoisia aiemmin piirturit, nykyään tietokoneen näytöt sekä hyvin kehittyneet signaalinkäsittelymenetelmät

ERP = event-related potential ERP osat

EEG hyviä puolia huonoja puolia hyvä aikaresoluutio menetelmä on suhteellisen edullinen helppo käyttää vuosien kehitystyö huonoja puolia huono paikkaresoluutio ikävä/ruma koehenkilölle/käyttäjälle (ABI, HCI) signaalit vaihtelevat hyvinkin paljon yksilöiden välillä herkkä häiriöille

EEG mittaustapaa voi soveltaa hyötykäyttöön (ihminen-kone käyttöliittymät)

MEG mitataan samaa ilmiötä kuin EEG:ssä, mutta tällä kertaa mitataan sähkövirtadipolien tuottamaa magneettikenttää menetelmä on erittäin hyvä perustutkimuksessa, mutta ihminen-kone käyttöliittymiin sitä ei voi soveltaa

PET PET mittaa muutosta aivojen verenkierrossa aktiiviset alueet tarvitsevat enemmän happea veri kuljettaa happea vereen ruiskutetaan (radioaktiivista) varjoainetta, joka havaitaan PET-kuvauksessa soveltuu perustutkimukseen (eettiset kysymykset), mutta ei I-K käyttöliittymiin

fMRI fMRI mittaa myös muutosta aivojen (tai muun elimistön) verenkierrossa veren hemoglobiinin magneettiset ominaisuudet muuttuvat riippuen siitä onko siihen sitoutunut happea vai ei näiden paikallisten magneettien voimakkuutta verrataan ulkoiseen magneettiin veri kuljettaa happea ja se vapautuu aktiivisissa kohdissa soveltuu perustutkimukseen, mutta ei apua I-K käyttöliittymille

EKG ja verenpaine sydämen sykettä ja verenpainetta voidaan mitata kliiniset sovellukset molemmissa tapauksissa sairaalalaitteet, lääkärit,…

autonomisen hermoston hallinnassa ja mekanismit hyvin monimutkaiset…

EKG ja verenpaine …joten näitä signaaleja ei voi hallita, vai voiko… jooga, fakiirit syke saattaa olla niin alhainen, että jopa lääkärit ehtivät julistaa kuolleeksi ei voi soveltaa I-K käyttöliittymiin

Hengittäminen sisäänhengitys vaikuttaa esim. seuraavasti sydämen syke nousee ihon sähkönjohtokyky laskee R. M. Stern ja C. Anschel, 1968 hengitys mitataan usein psykofysiologisissa tutkimuksissa häiriöiden hylkäämistä varten vaikka hengitystä voidaankin säädellä, tämä signaali ei sovellu I-K käyttöliittymiin

EGG ruoansulatuselimistön toiminta mitataan elektrodeilla ihon pinnalta suhteellisen vähän tutkittu alue autonominen hermosto ohjaa ei sovellu I-K käyttöliittymiin

EMG lihaksen jännittyessä potentiaali on suorassa yhteydessä lihaksen jännityksen voimakkuuteen potentiaali voidaan mitata tavallisilla pintaelektrodeilla 1…1000 Hz (10…150 Hz) suuruusluokka satoja mikrovoltteja näkyy mitattaessa EEG:tä

lihastoiminta emootiot

EMG emootioiden tutkiminen (kasvojen liikkeet) lihassairaudet voi soveltaa I-K käyttöliittymissä jossain määrin elektrodit käteen ja näillä ohjataan esim. robottikättä proteesien ohjaus?

EOG silmän liikkeitä sakkadiset liikkeet: nopeasti yhdestä fiksaatiopisteestä toiseen kompensoivia liikkeitä: pään tai kehon liikkeitä kompensoivat pieniä liikkeitä: tärinä, nopeat liikkeet, … nystagmus: usean tyyppistä, periodinen liike silmien räpyttely (EMG) pupillin liikkeet muita…

EOG eri liikkeet johtuvat sekä fysiologisista että psyykkisistä ärsykkeitä esim. pupillit mittaustapoja: EOG:llä mitataan silmää ympäröivien lihasten sähköistä toimintaa (EMG) valokuvaus pupillien liikkeet, silmien liikkeet mittausten kvantisointi erilaiset heijastusmittaukset ja piilolinssit

mittausasetelma tuloksia

EOG EOG:tä käytetään kontrollitilanteena EEG:n ja MEG:n mittauksessa silmänräpäytykset näkyvät EEG:ssä häiriöinä ainakin katsesuuntaa (silmien valokuvaus) voi soveltaa I-K käyttöliittymiin EOG:n käyttö onnistuu myös

EDA GSR (galvanic skin reflex), EDA (electrodermal activity) mitataan muutoksia ihon sähkönjohtokyvyssä tai potentiaalissa kostea iho johtaa paremmin neljä perusmittausta SCL, skin conductance level SCR scin conductance response SPL, skin potential level SPR, skin potential response yleensä mitataan konduktanssia

elektrodien asettaminen hikirauhanen

EDA Carl Jung, 1907: …EDA paljastaa mielen salat. nykyään valheenpaljastuskoneet psykofysiologiset tutkimukset tämän signaalin käyttö I-K rajapinnassa on käytännössä mahdotonta, koska signaalia ei voi hallita

Biologisia signaaleja hyötykäyttöön parhaina rajapintoina seuraavat menetelmät: EEG EOG, EMG muita…? tulokset tulisi olla toistettavissa tulokset ovat monesti herkkiä tilanteessa ilmentyville häiriöille/häiriötekijöille savukkeet, stressi, mielentila,… suurin osa biologisten signaalien mittareista vain kliinisessä ja tutkimuskäytössä

Biologisia signaaleja hyötykäyttöön mittaustavan tulisi olla (hyöty)käyttäjälle mukava virheisiin ei ole varaa esim. pyörätuolin ohjaus käyttäjän saatava välitön palaute sovellukselta

Pohdintaa eettiset kysymykset? todellinen hyöty käyttäjälle?  huvi? onko muita biologisia signaaleja? pystytäänkö muita kuin jo käytettyjä signaaleja hyödyntämään tiedon lisääntyessä ja tekniikan kehittyessä? tuleeko menetelmistä 100% varmoja? …