Intelligent Gaze-Added Interfaces by Salvucci & Anderson Anssi Kainulainen Tampere University Computer Human Interaction Group

Intelligent Gaze-Added Interfaces Esityksen sisältö •Menetelmät (3 kalvoa) •Tulokset (5 kalvoa) •Diskussio (3 kalvoa) •Omaa pohdintaa (1 kalvo) Menetelmät (3) Tulokset (5) Diskussio (3) Omaa pohdintaa (1)

Intelligent Gaze-Added Interfaces Menetelmät 1 - WIMP Menetelmät (1/3) Tulokset (5) Diskussio (3) Omaa pohdintaa (1)

Intelligent Gaze-Added Interfaces Menetelmät 2 – katseentulkinta •IScan (60Hz, 1°) •i best = argmax [ Pr(i|g) ] = argmax [ Pr(g|i)*Pr(i) / Pr(g) ] = argmax [ Pr(g|i)*Pr(i) ], i  I •Pr(g|i) = G(x, cx, sx)*G(y, cy, sy) •Edeltävyyspisteet •File menu: 1, 1/5 •Edit menu: 1/5 •Special menu: 1, 1/5 •Ikkunan sulkemislaatikko: 1/5, 1 •Ikkuna: 1/25 Menetelmät (2/3) Tulokset (5) Diskussio (3) Omaa pohdintaa (1)

Intelligent Gaze-Added Interfaces Menetelmät 3 - testiasetelma •10 henkeä (3 naista, 7 miestä) + 3 diskattua •(pilottitesti) •5+5 tutustumistehtävää •8x10 harjoitustehtävää •2x10 vapaata tehtävää •kysely Menetelmät (3/3) Tulokset (5) Diskussio (3) Omaa pohdintaa (1)

Intelligent Gaze-Added Interfaces Tulokset 1 - virheet •Kaikki vaiheet? / max kaksi ylimääräistä vaihetta? •Katseella enemmän virheitä •Modaliteetti vs. lohko: ANOVA F(1,9) = 22.07, p<.01 •Testilohkot keskenään: p>.5 •Algoritmi: 86% / 65% / 17% Menetelmät (3) Tulokset (1/5) Diskussio (3) Omaa pohdintaa (1)

Intelligent Gaze-Added Interfaces Tulokset 2 – virheettömät •mukava oppimiskäyrä •Katseella kesto ei merkittävästi pidempi, p>.1 •Oppimistrendi tehtävälohkoista: ANOVA F(1,9) = 22.16, p<.001 Menetelmät (3) Tulokset (2/5) Diskussio (3) Omaa pohdintaa (1)

Intelligent Gaze-Added Interfaces Tulokset 3 - suoritusprosessi •Suoritusprosessi monimutkainen 1.Raakasuoriutuminen 2.Käyttöliittymän fokuksen tulkintakyky 3.Käyttäjän katse/hiiri –koordinaatiokyky 4.Käyttäjän sopetumiskyky Menetelmät (3) Tulokset (3/5) Diskussio (3) Omaa pohdintaa (1)

Intelligent Gaze-Added Interfaces Tulokset 4 – katseen käyttö •67% tehtävistä vapaassa vaiheessa •Preferointi – taito korrelaatio R=.70 •Yksinkertaiset tehtävät •Sekakäytön kanssa ongelmia Menetelmät (3) Tulokset (4/5) Diskussio (3) Omaa pohdintaa (1)

Intelligent Gaze-Added Interfaces Tulokset 5 - kvalitatiivinen •Välttivät katsetta monimutkaisissa tehtävissä •Käyttivät hiirtä sen ollessa lähellä aiottua fokusta •Välttivät näppäimistö-hiiri liikettä •Käyttivät katsetta “luottamuspohjaisesti” Menetelmät (3) Tulokset (4/5) Diskussio (3) Omaa pohdintaa (1)

Intelligent Gaze-Added Interfaces Diskussio 1 - korostukset •Perinteinen toiminta tallella – ei pakotusta •Katse-nappi – ei Midaksen kosketusta, hiiri-analogia •Algoritmi – naiivin ja kompleksisen välimaastosta Menetelmät (3) Tulokset (5) Diskussio (1/3) Omaa pohdintaa (1)

Intelligent Gaze-Added Interfaces Diskussio 2 – modaliteetti yms. •Multimodaalisuus, rinnakkaissyöte, jatkuva-arvoinen syöte •Modaliteetti-integraatio •Ei-komentopohjainen (implisiittisyys vs. eksplisiittisyys) •Oppiminen •Näytön ja tehtävien tuttuus, ei modaliteettiero •-> helppo oppia Menetelmät (3) Tulokset (5) Diskussio (2/3) Omaa pohdintaa (1)

Intelligent Gaze-Added Interfaces Diskussio 3 - loput •Algoritmi auttaa kalibrointiongelmissa •Katse vs. huomio: parafovea ja periferia (>1°) •MuTu ja testaus suunnitteluratkaisuissa •-> kognitiivinen mallinnus Menetelmät (3) Tulokset (5) Diskussio (3/3) Omaa pohdintaa (1)

Intelligent Gaze-Added Interfaces Omaa kommentointia •Komponenttien koko •Algoritmi •“as accurate as human experts in real time” •Keskiarvo -> keskipiste, keskihajonta -> koko •Kohteiden rajaus neliskanttisiin alueisiin •Katseluetäisyys, näyttö •Multimodaalisuuden integroimattomuus •Yleistysongelmat: raja-arvot ja vakiot kokeilemalla •Testitilanteen aloituksen arvonta, mutta kiinteä esittelyvaihe Menetelmät (3) Tulokset (5) Diskussio (3) Omaa pohdintaa (1/1)