Interaktiivisten Järjestelmien Tekniikan Suunnittelu GAZE

Oulussa Tekijät: Juha Hämäläinen Juha Tuikkanen Jari Koliseva

1. Johdanto GAZE = Katseohjaus Nykyiset tiedonsyöttötavat perustuvat jonkin laitteen käyttämiseen Katseohjaus käyttää ihmisen luonnollista käyttäytymistä tiedon syöttämiseksi Useita sovelluskohteita: esim. käyttöliittymätestaus, langaton hiiri, manuaalit, sanakirjat jne.

2. Katseohjauksen toteutus ja toteutukseen vaikuttavat tekijät Silmän rakenne ja käyttäytyminen - pupilli, iiris, verkkokalvo ja sarveiskalvo - pupilli, iiris, verkkokalvo ja sarveiskalvo - näkökentän 3 aluetta: Foveal - näkökentän 3 aluetta: Foveal (1 aste ~ 1cm), Parafovea ja (1 aste ~ 1cm), Parafovea ja Peripheral Peripheral - Fiksaatio - Fiksaatio - Saccade - Saccade Parafoveal Peripheral Foveal [de g]

2. Katseohjauksen toteutus ja toteutukseen vaikuttavat tekijät Fyysiseen kontaktiin perustuvat menetelmät: - jännitemuutosten mittaus elektrodeilla - jännitemuutosten mittaus elektrodeilla - kontakti linssit - kontakti linssit

2. Katseohjauksen toteutus ja toteutukseen vaikuttavat tekijät Videokuvaukseen perustuvat menetelmät: - videokamera kuvaa käyttäjän kasvoja - videokamera kuvaa käyttäjän kasvoja - kuvan siirto tietokoneelle, jossa - kuvan siirto tietokoneelle, jossa kuvankäsittelysovellus etsii kuvasta kuvankäsittelysovellus etsii kuvasta toisen silmän ja arvioi silmän asennon toisen silmän ja arvioi silmän asennon - mitataan kahden eri kohdan liikettä, jotka - mitataan kahden eri kohdan liikettä, jotka liikkuvat toisiinsa nähden eri tavalla katseen liikkuvat toisiinsa nähden eri tavalla katseen absoluuttisen suunnan ja pään asennon absoluuttisen suunnan ja pään asennon muuttuessa muuttuessa Bright pupil Corneal reflection

2. Katseohjauksen toteutus ja toteutukseen vaikuttavat tekijät Videokuvaukseen perustuvat menetelmät - infrapuna videokamera (myös peilin kautta) - infrapuna videokamera (myös peilin kautta) - gazepoint - gazepoint - käyttäjän vapaa liikkuminen - käyttäjän vapaa liikkuminen - auringonvalon ja - auringonvalon ja fluorescenttien valojen fluorescenttien valojen käyttö heikentää tarkkuutta käyttö heikentää tarkkuutta

2. Katseohjauksen toteutus ja toteutukseen vaikuttavat tekijät Kuka voi käyttää Gaze systeemejä - käytöllä ei ole muita kuin silmään liittyviä - käytöllä ei ole muita kuin silmään liittyviä rajoituksia rajoituksia - kyky katsoa ylös, alas ja sivuille - kyky katsoa ylös, alas ja sivuille - kyky tarkentaa katsetta ja pitää sitä hetken - kyky tarkentaa katsetta ja pitää sitä hetken paikallaan paikallaan - lukukyvystä hyötyä - lukukyvystä hyötyä - kyky muistaa asioita - kyky muistaa asioita - toimii myös silmälasien kanssa - toimii myös silmälasien kanssa

iEye projekti Tampereen yliopiston tutkimus. Tutkimus on tehty yhteistyössä saksalaisten, englantilaisten, italialaisten ja helsinkiläisten partnerien kanssa. Tässä tutkittiin mahdollisuuksia hyödyntää katseenseurantaa apuna kun mukautetaan ohjelman toimintaa käyttäjän toimenpiteitä vastaavaksi.

iEye projekti Päätavoite tutkia miten silmänliikkeistä saatavaa dataa voidaan käyttää parantamaan ihmisen ja tietokoneen vuorovaikutusta. Tutkimuksessa tehty sovellus iDict eli vieraskielisten tekstien lukemisen apuväline.

Miksi iDict? Tavoitteena apuväline, jonka avulla vieraskielisen sanan käännös tuodaan lukijan näyttöön ilman että niitä tarvitsee erikseen ohjata. Sen avulla saadaan vieraskielisten tekstien luku huomattavasti nopeammaksi ja tehokkaammaksi Laite toimii englannin, ruotsin, saksan ja suomen kielen käännöksissä. Esim. voit lukea saksaa ja haluta englanninkielisen vastineen ongelmasanalle. Käännöskieli valitaan ennen lukemisen alkamista.

Miksi iDict?

IDictin toiminta lukuprosessin kannalta mielenkiintoiset silmänliikkeet jakautuvat Fiksaatioihin ja sakkadeihin fiksaation aikana silmä pysyy paikallaan, ja sen aikana tapahtuu näköhavainnon siirtyminen hermojärjestelmään Sakkadit ovat siirtymiä fiksaatioista toiseen.

IDictin toiminta Ongelmakohtia syntyy sillä katseen pysähtyminen ei ole riittävä indikaattori. Fiksaatiot eri henkilöillä eri pituisia sanan pituuden kasvaessa katseen kesto pitenee miten yleinen sana on –toimiakseen sovellukselta edellytetään tietoa siitä miten katse käyttäytyy tekstiä luettaessa, ja minkä tyyppisissä sanoissa ja rakenteissa esiintyy ongelmia. –Nykyään E-Z Reader lukumalli

Olemassa oleva laitteisto täällä hetkellä tarkin laitteisto on projektiin osallistuvalla laitevalmistajalla SensoMotoric : lla –laitteistossa pupillia seurataan infrapunavalolla ja kuvataan videokameralla –lisälaitteiden hinta noin mk

Kehityslaitteisto seuraa molempia silmiä pääripusteinen optiikka kaksi tietokonetta –toinen ohjaukseen –toinen aiheeseen näytteenottotaajuus 250 HZ Hyvin tarkka ¨ astetta. Laitteen huonopuoli: –Iso päähän ripustettava laite epämiellyttävä käyttää

Hankkeessa kehitettävä laite käytettävyyden kehittäminen on sovelluksen ydin. –Katseenseuranta laitteita on olemassa( edellinen kalvo) kehitettävä laite silmälasien kokoluokkaa. –Tampereen yliopisto suunnitellut siihen käyttösoftan kehittäjät arvioivat laitteen hinnan tippuvan alle 1000 markan kunhan laite tulee massatuotantoon

Hankkeeseen kehitetty laite toimintaperiaate: –sama kuin muissa sovelluksissa kamera kuvaa silmää kahdesta pisteestä silmän asento kuvankäsittelyohjelmalla Tässä käytetty kuvaus tekniikka –infrapuna videokamera peilin kautta –informaatio tietokoneelle usb kaapelin kautta

Kehitetyn laitteen tekniset tiedot Kevit ja pieni (mukava käyttää) koko 21x21x25 mm paino 35 g kiinnitysalusta esim silmälasit Näytteenottotaajuss 50 HZ edellinen laite 250 HZ tarkkuus hieman huonompi kuin edellisessä n. 1 aste

Arkkitehtuuri

Projektiin aikataulu

Sovellutuksia

Smart-Nav

Smart-Nav Täysin kädet vapaana tietokoneen kursoriohjaus Merkkipisteen ja infrapunakameran avulla toteutttu

Toiminta • Infrapunavaloa lähetetään neljällä ledillä • Kameralla kuvataan ympäristöä • Kuvasta etsitään tietyntyyppistä heijastumaa •Lopullinen analysointi tapahtuu tietokoneella missä tieto yhdistetään kursorin ohjaukseen

Kameran katseohjattu tarkennus Kamera tulkitsee kuvaajan katseen perusteella kohteen ja tarkentaa siihen

Toiminta Kamerassa on 8 infrapunalediä Niistä toimii tilanteesta riippuen 2-8 Heijastuneesta kuvasta päätellään pupillin asento Asennosta voidaan päätellä mihin kuvaaja katsoo etsimessä

Toiminta (2) Kamera tarkentaa tähän havaittuun kohtaan Heijastunut kuva tulee tietenkin samaa reittiä takaisin kameraan kuin kuvaajan katsekin, joten tarvitaan erikois linsejä välissä jotta erotellaan infrapuna heijastus normaalista valosta.

Lähteet • • •