TassuAnimaatio luento 71 Tik Animaatio ja mallintaminen 7.luento: motion capture & editing

TassuAnimaatio luento 72 Sisältö I. Motion capture –Perusajatus: havaintopisteistä tulkitaan hahmon liike –Sovelluksia: elokuva, pelit –Sensoritekniikkaa: magneettianturit, optiset laitteet, kamera –Kameran kalibrointi: optiikan korjaus, perspektiivi –3D-koordinaattien rekonstruktio monesta kuvasta –Kinemaattisten parametrien laskenta II. Motion editing –Liikedatan segmentointi –Taajuussuodatus –Ajan ja liikkeen venytys (warping) –Liikkeen sovittaminen uuteen hahmoon tai tilanteeseen III. Special techniques –Ääriviivakuvan tunnistus –Monikamerakuvaus, “Matrix-efekti”

TassuAnimaatio luento 73 I. Motion capture Perusajatus: kopioidaan elävä liike animaatioon Historiaa: rotoskopia, päälle piirtäminen Nyt: hahmon liike tulkitaan laskennallisesti havaintopisteistä Sovelluksia: elokuvat, pelit, ergonomian tutkimus

TassuAnimaatio luento 74 Sensoritekniikkaa Magneettianturit Mekaaniset anturit (exoskeleton) Optiset laitteet –kamerat –markkerit LEDejä heijastimia –IR-valo

TassuAnimaatio luento 75 MoCap videokuvasta Alustus –Ympäristön referenssipisteiden tunnistus –Kameran kalibrointi –Markkereiden kiinnitys näyttelijään Datan keruu –Hahmon markkeripisteiden tunnistus –Pisteiden korrelointi eri kameroissa/frameissa –3D-pisteiden rekonstruktio –Datapisteiden sovitus hahmon rajoite-ehtoihin –Kinemaattisten parametrien laskenta Soveltaminen –Kinemaattisen datan sovittaminen uuteen hahmoon –Liikkeen editointi eri ilmaisuja varten

TassuAnimaatio luento 76 Kameran kalibrointi Optiikan korjaus –kuvan vanutusta (image warping) Sijainnin ja asennon laskenta perspektiivissä havaituista markkereista –joka markkerille yhtälö (u,v) i = P R T (x,y,z) i missä P=projektio, R=rotaatio, T=translaatio –yhtälöryhmästä ratkaistaan T ja R tilastollisesti Muotoiltu markkeri antaa enemmän informaatiota Tarpeen myös videokuvan ja virtuaaliympäristön yhdistämisessä (Augmented Reality) –näyttelijät sinitaustaa vasten, upotus virtuaalilavasteisiin –animoitujen hahmojen sijoittaminen videokuvaan

TassuAnimaatio luento 77 3D-koordinaattien rekonstruktio Ideaalisesti: –säde kamerasta markkerin kuvapisteen suuntaan –3D-piste = eri kameroiden säteiden leikkaus Käytännössä: –säteet eivät tarkasti osu yhteen –haetaan pareittain säteiden lyhintä etäisyyttä vastaavat pisteet - klusteroidaan yhdeksi Muita ongelmia –markkerit sekottuvat toisiinsa –usein markkeri joutuu näkymättömiin –tunnistuksen epätarkkuus -> kohinaa signaalissa tarvitaan suodatusta (esim. Kalman filter)

TassuAnimaatio luento 78 Kinemaattisten parametrien laskenta Usein markkerit eivät sellaisinaan riitä –sijainti vaatteissa, ei nivelissä –epätarkkuudet mittauksessa –animoitava hahmo eri kokoinen Sovittaminen anatomiseen malliin –approksimoidaan nivelen paikka useammasta markkerista –otetaan mallin tunnetut rajoitteet avuksi esim. jäsenten pituudet, nivelten ääriasennot Käänteiskinematiikkaa –sovitetaan kiinnekohdat, esim. jalat maahan Anatominen malli auttaa myös näkyvistä kadonneiden markkereiden löytämisessä

TassuAnimaatio luento 79 II. Motion editing Käsitellään liikedataa signaalina ei pelkästään kaapatun liikkeen käsittelyä; lähteenä voi olla mallinnettu/animoitu liike (esim. Endorphin) muistuttaa äänen editointia kukin liikeparametri omalla kanavallaan

TassuAnimaatio luento 710 Menetelmiä –suodatus eri taajuuskaistoilla (vrt. equalizing) –liikesaumojen sulauttaminen (vrt. cross-fading) –synkronointi ajallisiin tapahtumiin (warping) –interpolointi taajuusavaruudessa –tiettyjen liikkeen osien korostaminen –liikekäyrien käsittely splineinä (keyframing) –rajoitusehtojen täyttäminen (IK, space-time constraints)

TassuAnimaatio luento 711 Taajuussuodatus Käsitellään liikesignaalia taajuuskaistoittain (vrt. equalizer) –Alipäästö (matalat taajuudet) tekee liikkeestä laiskan –Ylipäästö (korkeat) tekee hermostuneen vaikutelman –Keskikaistalla saadaan liioiteltuja rauhallisia liikkeitä Vastaa multiresoluutiomallintamista [Bruderlin95]

TassuAnimaatio luento 712 Blending Kahden tai useamman liikedatan summaus –painokertoimet ja taajuussuodatus kullekin erikseen Interpolaatio (cross-fading) –painokertoimia muutetaan, summa pysyy (=1.0) Eri painokertoimet ja suodatus eri osille kehoa –voidaan kombinoida eri liikkeistä kokonaisuuksia –esim. vasen+oikea käsi

TassuAnimaatio luento 713 Synkronointi Yhdistettävien liikesarjojen oltava samassa vaiheessa –eri tallennuskerroilla liikkeen tempo voi olla erilainen (esim. laahustava ja reipas kävely) –epälineaarinen paikallinen venytys ja tiivistys ajassa (=warp) sovittaa signaalit samaan tahtiin’ Periodisille liikkeille toimii Fourier-muunnos [Unuma95] –skaalataan perustaajuus samaksi (=rescaling) –interpoloidaan signaaleja taajuustasossa –skaalataan takaisin ja muunnetaan aika-avaruuteen

TassuAnimaatio luento 714 Muita menetelmiä Dataan voidaan lisätä uusia piirteitä –muotoilu epälineaarisella funktiolla (=waveshaping) –displacement (bump) mapping esim. lisätään vapinaa käsiin Korostetaan yksittäisiä liikkeitä –esim. näkyvä käden heilautus normaalin kävelyn aikana

TassuAnimaatio luento 715 Retargeting Liikkeen sovittaminen uuteen hahmoon tai tilanteeseen –ks. Gleicherin artikkeli, Siggraph’98

TassuAnimaatio luento 716 III. Special techniques Hahmon löytäminen videokuvasta –ääriviivat, tekstuurit, kasvomarkkerit –luurangon sovittaminen kuvaan Monikamerakuvaus –elävästä hahmosta saadaan monta perspektiiviä yhtä aikaa –katselu “virtuaalikameralla”

TassuAnimaatio luento 717 Ääriviivakuvan tunnistus Kuvankäsittely –poistetaan tausta (bluescreen) –tunnistetaan ääriviivat Sovittaminen malliin = hahmontunnistusta –ääriviivan piirteiden tunnistus, esim. sormet –muodon (pikseleiden) jakauman momentit –tekstuurin liikeen tunnistus (optical flow)

TassuAnimaatio luento 718 Sovelluksia Krueger: Videoplace Vivid group: Mandala Hämäläinen et al: Kukakumma Muumaassa –

TassuAnimaatio luento 719 Monikamerakuvaus “Matrix-efekti” Digital Air Movia digital camera array on location

TassuAnimaatio luento 720 Mahdollinen harjoitustehtävä ? Jonkin aikaisemman harjoituksen (esim. kävelijä) liikedatan käsittely –suodatus –kohinan lisääminen –tms.

TassuAnimaatio luento 721 References Menache: Understanding Motion Capture for Computer Animation and Video Games. Morgan Kaufmann 1999 Artikkeleita –Bruderlin, Williams: Motion signal processing. Siggraph’95 –Unuma et al: Fourier principles for emotion-based human figure animation. Siggraph’ –Witkin, Popovic: Motion warping. Siggraph’95 –Michael Gleicher: Retargeting motion to new characters. Siggraph’98 –State et al: Superior augmented reality registration by integrating landmark tracking and magnetic tracking. Siggraph’96 Lisää informaatiota, linkkejä – – …ja monia muita firmoja.

TassuAnimaatio luento 722 Videot Sovelluksia filmeissä –Star Wars: Episode #1 (JarJar) –Matrix –Simpsons Tekniikkaa –Moxy, Acclaim (SVR #101) –Siggraph’97 näyttely –Siggraph’95 proceedings CD-ROM (examples) –Gleicher (Siggraph’98 video) –AR tracking (Siggraph’96 video, #25)