Viittomien animoinnista Copyright, 1996 © Dale Carnegie & Associates, Inc.

Esitys aiheesta: "Viittomien animoinnista Copyright, 1996 © Dale Carnegie & Associates, Inc."— Esityksen transkriptio:

1 Viittomien animoinnista Copyright, 1996 © Dale Carnegie & Associates, Inc.

2 Työn aiheesta viittomien animointi = viittomisen elävöittäminen liikkuvan kuvan avulla (piirros, valokuva, nuket, tietokoneiden graafiset ohjelmat) viittomasynteesi = text-to-sign motion capture -tekniikka täydellinen synteesi vain tietokonetta käyttämällä

3 Viittomien animointi sovelluksina asiakaspalvelutilanteetasiakaspalvelutilanteet –lentokenttä, posti, lääkäri jne. tiedonkulun parantaminentiedonkulun parantaminen –puhuttujen kielten materiaali kielten opiskelukielten opiskelu –kuurot opiskelevat puhuttuja kieliä –kuulevat opiskelevat viittomakieliä

4 Viittomien animointi sovelluksina viittomakielten lingvistinen tutkimusviittomakielten lingvistinen tutkimus –parametrien muuttaminen –rajaton toistomahdollisuus –kuvakulman muuntelu kielihäiriöiden tutkimuskielihäiriöiden tutkimus ihmisen kielikyvyn tutkimusihmisen kielikyvyn tutkimus

5 Projekteja ja tekniikoita ViSiCAST = Virtual Sining, Capture, Animation, Storage and Transmission animointi: MPEG-4 v.2, VRML, H-anim-animointi: MPEG-4 v.2, VRML, H-anim- standardi, motion capture standardi, motion capture kieliteknologia: XML-pohj. notaatiokieli,kieliteknologia: XML-pohj. notaatiokieli, DRS, CMU:n link grammar parser DRS, CMU:n link grammar parser

6 Viittomien animoinnin kehitys piirroskuvatpiirroskuvat valokuvatvalokuvat videovideo animaatioanimaatio

7

8

9

10 Viittoman rakenne

11 Viittomien rakenteen kuvaus osa viittomien animointiohjelmistoista perustuu puhuttuun kieleen eikä kuvaa aitoa viittomakieltä - SE = Signed English - SSE = Sign Supported English - PSE = Pidgin Signed English, myös CASE = Conceptually Accurate Signed English

12 Viittomien rakenteen kuvaus osassa taas on valmius viittoa aitoa viittomakieltä, mutta osa rakenne- parametreista puuttuu myös täysin viittomakielisiä signing avatar -sovelluksia, esim. Tessa/ViSiCAST

13 Viittomien rakenteen kuvaus pohjana jokin olemassa olevista notaatio- järjestelmistä: HamNoSys, SignWriting... rakenteen kuvauksessa käytetyt kielet XML-pohjaiset kieliversiot SiGML, SWML, etc. keskustelun kuvaukseen DRS, Discourse Representation Structures

14 Viittomien rakenteen kuvaus DRS-esim. I give you vs. You give me [X,Y : i(X) & you(Y) & give(X,Y)] [X,Y : i(X) & you(Y) & give(Y,X)] mahdollistaa sekä viittomajoukon että yksilöllisten viittomien kuvauksen

15 HamNoSysHamNoSys

16 SignWriting

17 SiGMLSiGML DGS:n viittoma GOING-TO annotoituna SiGML:llä <?xml version=''1.0'' encoding=''UTF-8'' standalone=''no''?> <avatar url=''Simon.ava'' id=''A'' alt=''Simon''/> <!-- Taken from Hamnosys 2.0 manual, p. 42, top line. --> …jatkuu…

18 SiGMLSiGML <handposture handshapeclass = ''ham_finger2'' thumbpos = ``ham_thumb_outmod'' extfidir = ``direction_uo'' palmor = ``direction_1'' <straightmovement direction = ``direction_o'' curve = ``direction_u'' /> <handposture extfidir = ``direction_do''/>

19 Viittomien animointi Suomessa varsinaista projektiavarsinaista projektia viittomien animoinnista viittomien animoinnista ei ole käynnissä ei ole käynnissä sitä sivuavia projekteja:sitä sivuavia projekteja: –VTT: mobiilit ja viittomakieli –VTT: gesture recognition system (NLP: NLU) –TKK: Talking Head + Artificial Person

20 The End - Happy? animoinnin perustekniikat julkisia jaanimoinnin perustekniikat julkisia ja hyvin saatavilla hyvin saatavilla sovellukset rakennettu siten, että kieltäsovellukset rakennettu siten, että kieltä voidaan vaihtaa, esim. ASL -> SVK voidaan vaihtaa, esim. ASL -> SVK Internet- ja PC-sovelluksia onInternet- ja PC-sovelluksia on -> ongelmana laitteisto ja rahoitus -> ongelmana laitteisto ja rahoitus

21 Happy End? - Mahdollinen! pöydällä pidettävät laitteistot asiakaspalveluunpöydällä pidettävät laitteistot asiakaspalveluun –julkinen rahoitus tarpeen (EU, valtio, järjestöt) (EU, valtio, järjestöt) - yhteistyössä yritysten kanssa, esim. Suvi mukana kannettavat sovelluksetmukana kannettavat sovellukset –mobiilit ja Internet-yhteydet –mobiilit ja videokamera

22 KIITOS!