Videonpakkaus © Reino Aarinen, 2008. Video  Video on monta valokuvaa ajassa peräkkäin (timeline, frames) niin nopeasti, että ihmissilmä tulkitsee (integroi)

Esitys aiheesta: "Videonpakkaus © Reino Aarinen, 2008. Video  Video on monta valokuvaa ajassa peräkkäin (timeline, frames) niin nopeasti, että ihmissilmä tulkitsee (integroi)"— Esityksen transkriptio:

1 Videonpakkaus © Reino Aarinen, 2008

2 Video  Video on monta valokuvaa ajassa peräkkäin (timeline, frames) niin nopeasti, että ihmissilmä tulkitsee (integroi) sen liikkeeksi.  Elokuvalla, televisiolla (PAL, NTSC) ja tietokoneella on omat erikoisuutensa mitä tulee kehysten (frame) kokoon ja toistonopeuteen, pikselikokoon (aspect ratio), näyttöön (interlacing, progressive).  Kun videota halutaan pakata, ensin poistetaan interlacing ja laitetaan näytön koko, data- ja frame-nopeudet kohdalleen.  Hyvän pakkauksen perusedellytyksiä ovat hyvä alkuperäinen video, jossa:  Peräkkäisten kuvien erot on minimoitu. Se on kuvattu kolmijalalta ja hyvässä valaistuksessa ilman automaattitarkenninta ym. häiriöitä. Digikameralla, koska analogiakamera kohisee aina.  Liikkuvat kohteet, ihmiset, autot, puut tuulessa, … taustalla ja  kameran kääntely, zoomaukset, tärinä, efektit jne. minimoitu

3 Videonpakkaus  Videonpakkauksen tarkoitus on poistaa videokuvasta sellaista informaatiota, jota ihmissilmä ei näe. Tällä tavalla videokuva mahtuu pienempään tilaan. Liikkuvassa kuvassa peräkkäisten kuvien välillä on erityisen paljon toistoa, joka on helppoa poistaa. Hyvä pakkaussuhde.  Pakattu videokuva kääritään erilaisiin tiedostomuotoihin. Kääreiden sisällä voidaan käyttää vaihtelevaa määrää videokoodauksia (ja lisäksi myös äänikoodauksia), joilla tehdään itse videonpakkaus. Useissa kääreissä voidaan käyttää samoja videokoodauksia.  Kääreen ja koodauksen eron ymmärtäminen on tärkeää, jotta kykenee ymmärtämään erilaisten videoiden tallennusmuotojen käyttötarkoituksen.  Ohjelma, joka purkaa koodauksen on nimeltään koodekki. Samalle standardipakkausformaatille voi olla useita eri koodekkeja. MPEG-4 - yhteensopivia koodekkeja ovat esimerkiksi DivX, XviD ja FFMPEG

4 Koodekki  Koodekki on multimedian yhteydessä käytetty ohjelma, joka purkaa pakatun video-, kuva- tai äänisignaalin tietokoneen näytöllä esitettäväksi. Muita käyttötarkoituksia ovat netin yli toistettavat videot ja radiokanavat tai vaikka matkapuhelimet. Tavallisesti koodekki osaa myös pakata kuvaa tai ääntä tiedostoiksi. Tunnetuin äänikoodekki on MP3. Sana koodekki on erikoislaina englannin sanasta codec (coding/decoding), jonka äänneasu on suomalaistettu. Suomenkielinen Windows kääntää sanan codec termiksi pakkauksenhallinta.  Koodekkia ei tule sekoittaa tiedostomuotoon. Esim. vaikka MP3-pakattu äänisignaali tallennetaan usein.mp3- päätteiseen tiedostoon, voidaan tämän muotoista ääntä käyttää myös esim. AVI-videotiedostoissa. Useista suosituista standardeista on tehty monia toteutuksia, esim. MPEG-4-standardia käyttävä koodekki on saatavilla Applelta, Microsoftilta, Real Networksilta, DivX Networksilta ja avoimelta XviD-projektilta.  Joitain tunnettuja koodekkeja: Ääni FLAC Windows Media Audio 10 (WMA) MP3 (MPEG 1 taso 3, tiedostopääte.mp3) AAC (MPEG 4, tiedostopääte.m4a) DTS AC-3 eli Dolby Digital GSM Vorbis Video MPEG-1 ja MPEG-2 MPEG-4 DivX, VideoLAN, Real, QuickTime, Flash XviD Windows Media Video 10 (WMV)

5 MPEG

6 MPEG-1  MPEG-1 standardi (ISO-11172) oli ensimmäinen MPEG-komitean tulos ja se valmistui 1995. Standardi on tarkoitettu kuvan ja äänen pakkaamiseen digitaaliselle tallennusmedialle kuten CD-ROMille. MPEG-1 koodaus voidaan jakaa kolmeen osaan; systeemi, video ja ääni. Koodaus MPEG-1 muotoon tapahtuu kiinteää datavirtaa käyttäen (CBR) ja videon maksimi datavirta on 1,1519 Mbit/s, joka on lomittelematonta ja vastaa laadullisesti analogisen VHS- videokuvan tasoa.MPEG  MPEG-1 videokuvan pakkauksessa suositeltu kuvakoko PAL-järjestelmälle on 352 x 288 kuvapistetta ja kehysnopeus 25. NTSC-järjestelmälle 352 x 240 kuvapistettä. Videokuva voidaan pakata suhteessa 50:1, jolloin kuvan laatu säilyy kohtalaisena. Suurempaa pakkauskerrointa (200:1) voidaan käyttää silloin kun laadusta voidaan tinkiä.PALNTSC  Ääni koodataan MPEG-1 Layer II mukaisesti 44,1 kHz näytteenottotaajuudella ja datavirta on kiinteä 224 kbit/s. Ääni voi olla kaksikanavainen mono tai sitten stereo, intensity stereo tai joint stereo. Äänen ja kuvan synkronoinnin takaamiseksi ääni- ja kuvadata ovat lomitettuna MPEG:n videosektoreissa.  Stillvideo on koodattava mpeg-Intra kuviksi. Normaali kuvakoko on 352 x 240 kuvapistettä NTSC- ja 352 x 288 kuvapistettä PAL-järjestelmässä. Käytettävissä on myös suurempikokoinen (High Resolution) kuva, jolloin kuvakoot NTSC- ja PAL-järjestelmissä ovat vastaavasti 704 x 480 ja 704 x 576 kuvapistettä.

7 MPEG-2 lähtökohdat  MPEG-2 pakkaus perustuu neljään periaatteeseen:  1. Etsitään pakatun kuvan datasta toistuvia, samanlaisia osia, ja poistetaan kaikki sellainen data, jolla ei ole mitään informaatioarvoa. Toisin sanoen, kaikki mikä on jo kertaalleen mukana datassa, tai se voidaan muuten ennustaa, on tarpeetonta.  2. Ihmissilmä on epäherkkä korkeataajuiselle kohinalle. Siten kuvasta voidaan poistaa pieniä yksityiskohtia ilman että katsoja havaitsee kuvan huonontuneen.  3. Video-ohjelmassa perättäiset kuvat poikkeavat tavallisesti vain vähän toisistaan. Ottamalla mukaan vain eroa kuvaava tieto, pienenee tarvittava datamäärä huomattavasti kuvan laadun siitä kärsimättä.  4. Perättäisissä kuvissa tapahtuvia muutoksia voidaan myös ennustaa kuvaelementtien siirtymistä kuvaavilla liikevektoreilla. Siten dataan ei tarvitse liittää kuvaelementin tietoja, liikevektori riittää.  Ensimmäinen periaatteista on sama jota käytetään esimerkiksi ohjelmien pakkauksessa. Menetelmiä on useita ja ne perustuvat erilaisiin matemaattisiin malleihin. Tuloksena on data jonka avulla voidaan rakentaa täysin identtinen kuva alkuperäisen kanssa. Kyseessä on siten häviötön pakkausmuoto. Häviöttömien menetelmien heikkoutena on rajallinen pakkaussuhde, eivätkä ne siten yksin riitä video-ohjelmaa pakatessa.

8 MPEG-2 standardi  MPEG-2 (ISO-13818) on 1997 valmistunut standardi yleisradiotasoisen kuvan pakkaukseen. Sitä käytetään melkein kaikissa DVD-videolevyissä, Super VCD-levyissä, kaapeli- ja satelliittitelevisioissa, Digi-TV lähetyksissä sekä HDTV:ssä. Resoluution ja kuvan bittinopeuden suhteen valinta on melko vapaata. MPEG-2 pystyy pakkaamaan videota ja audiota 2-20 Mb/s siirtonopeuksilla. MPEG-2-koodatun kuvan HDTV- tasoinen maksimikoko on 1920x1152. Formaatti tukee vaihtelevaa bittinopeutta (VBR) eli esim. toimintakohtauksiin voidaan käyttää hitaissa kohtauksissa säästettyjä tavuja ja välttyä kuvan palikoitumiselta.Ääniformaattina voidaan käyttää jotain seuraavista: MPEG audio layer 1, MPEG audio layer 2, Dolby AC-3, PCM ja DTS. Näistä PCM ja DTS ovat pakkaamattomia muotoja. DVD-levyt käyttävät useimmiten AC-3:sta eli Dolby Digitalia. Digi-TV-lähetyksissä käytetään taas pienempää bittinopeutta ja kaksikanavaista MPEG layer 2-ääntä, tulevaisuudessa siirryttäneen DVD:n tapaan AC-3-ääneen.AC-3PCM  DVD-Video on ”pakattu” studio ITU-R 601 formaatista MPEG-2 formaattiin, joka poistaa tarpeettomat tiedot ja tiedon joita ei voi havaita ihmissilmällä. MPEG-2 on häviöllinen digitaalinen koodausjärjestelmä. Häviöllisyys merkitsee, ettei kerran koodattua signaalia voi enää palauttaa alkuperäiseksi. Lopputuloksena syntynyt video, varsinkin jos se on monimutkainen tai kuvat vaihtuvat nopeasti, voi joskus sisältää häiriötekijöitä, kuten esim. kuvan sekaisuutta. Tämä riippuu alkuperäisen laadusta ja pakkauksen määrästä. Normaalissa 3.5 Mbps määrässä saattavat jotkut häiriötekijät jo esiintyä.

9 MPEG-2 pakkaus vaikeaa…  MPEG-2 -pakkaus tapahtuu yksinkertaistettuna niin, että osa kuvien passiivisista kohdista jätetään pois ja keskitytään niihin kuvajaksoihin, joissa on liikettä. Tämä on hyvin monimutkainen prosessi, jossa usein joudutaan säätämään kuvien datamäärää käsin. Tämä on kallista käsityötä, eikä näköpiirissä ole kotioloihin soveltuvaa automaattista MPEG-2 -pakkausta.  Häviöttömästi digitoidun kuvasignaalin ja MPEG-2:n suhde on vähän samanlainen kuin CD-levyn suhde MiniDisciin. Sekä MPEGissä että MD:ssä (MiniDisc) muokataan rohkeasti signaalia oletuksella, että lopputulos on vielä prosessin jälkeen kelvollista. Jos pakkausta ei tehtäisi, järjestelmien toteuttaminen olisi tällä vuosituhannella kaupallisesti mahdotonta.  Digitaalisen kuvasignaalin häviöttömänä siirtonopeutena pidetään ammattipiireissä arvoa 270 Mbps, mutta DVD-kuvasignaalin keskimääräinen datavirta on vain 3,5 Mbps eli n. 1/80 osa. Laite tosin kiihdyttää lukunopeuden tarvittaessa jopa kymmeneen megabittiin sekunnissa. Bittivirta laajenee ja supistuu sen mukaan, minkä verran kuvassa esiintyy muuttuvia yksityiskohtia. Nopeatempoinen, paljon yksityiskohtia sisältävä toimintaelokuva syö DVD:n kapasiteettia aivan eri tahdissa kuin pitkissä kuvissa viipyilevä rakkausdraama. Vaakaerotteluksi luvataan yli 500 viivaa, ja kuva on tyypillisesti laajakangasformaattia.  Ihmissilmää pystyy harhauttamaan erittäin paljon, mutta hyvässäkin MPEG-2 - kuvassa on havaittavissa lievä luonnottomuus. Varsinkin kuvan selvä pehmeneminen nopeissa liikkeissä on ilmiö, johon joko tottuu tai ei.

10 MPEG-2 algoritmi  Digitaalinen broadcast-tasoinen TV täysvideo (lomitettu) + synkronoitu ääni.  Videon kuvien sisäinen (I-kuvat) ja välinen (ennustus, P-kuvat ja B-kuvat) redundanssi poistetaan. Peräkkäisten kuvien erot jäävät.  I-kuvat koodataan DCT-algoritmilla (intraframes). Ne ovat pakattuja kokokuvia (JPEG), luokkaa pari kuvaa sekunnissa.  P-kuvat koodataan ennustavalla algoritmilla muutoksina aikaisempaan kuvaan (M-kuvan välein).  Väliin jääneet B-kuvat ennustetaan eteenpäin (ekstrapolointi) ja tasataan (interpoloidaan) taaksepäin liikkeen kompensoivalla koodausmenetelmällä (liike-estimaattorit)  Liike-estimaattorit käyttävät liikevektoreita. Niillä määritellään ennustetun ja todellisen lohkon välinen etäisyys. Erot eli virhetermit (virhekuvat) koodataan käyttämällä DCT-algoritmia.

11

12 MPEG-4 © Reino Aarinen, 2007

13 ”The Media Standard”  Kansainvälinen ISO standardi (ISO-14496) vuodelta 1999. (Unifioitu yhteistyönä ITU-T & ISO/IEC = JVT Joint Video Team 2003).  ITU-T H.264  ISO/IEC 14496-10/MPEG-4 AVC  Oliopohjainen tekstin, kuvan, äänen ja videon pakkaus. Virta koostuu erillisistä olioista (osavirroista), joita myös käsitellään erikseen. Vertaa frame- eli kehyspohjaisiin menetelmiin(MPEG-1 ja -2).  Digitaalisen videon vertaisverkoissa yleisimmin käytetty formaatti. Unifioitu viitekehys interaktiiviselle multimedialle.  Koodekit: DivX, Sorenson, On2 Technologies; XviD, Ffmpeg, X.264 vastaavat avoimina…  Kääreet: MP4, Flash Video, QuickTime, AVI, OGM, Matroska …  Ääni: AAC, HE-AAC. Voi olla myös MP3, AC-3, Ogg Vorbis…

14 MPEG-4 ekosysteemi, ”ravintoketju”.

15 Virrat

16 BiFS ja XMT-A. Näyttämön kuvaus. BIFS

17 Miksi valitsisin?  Standardi. Avoin yhteinen kehitys (  parhaat teknologiat).  Unifioitu viitekehys edistyneelle multimedialle.  Alusta rikkaalle ja interaktiiviselle multimedialle (teksti, 2D ja 3D vektorigrafiikka, animaatio, vuorovaikutus, metadata, layout, Still-kuvat, Video, Audio).  Perinteiset huippukoodekit  erinomainen suorituskyky.  Yhteensopivat kilpailevat toteutukset. ”Encode once, play everywhere”  Ei valmistajakohtaista sitoutumista  Julkinen, tunnettu kehityksen roadmap.  Joustava integrointi erilaisiin siirtoverkkoihin (IP, HTTP, RTP, RTSP, MPEG-2, LATM/LDAS, ADIF, ATS).

18 Sovelluksia  Laajassa käytössä ja käyttö kasvussa yli perinteisten toimialarajojen.  Käytössä:  Videoneuvottelujärjestelmissä (IP ja ISDN).  PDA-, DVCam- ja käsiTV-laitteissa  Useimpien valmistajien digitaalikameroissa (Sony, Canon, Olympus, Panasonic …) jne.  Vakiintunut pienen kaistanleveyden multimedia- standardiksi 3G-puhelimille.  Tulossa myös DVB-standardiksi – keskustelu standardointielimissä käynnissä. Sopii erityisesti HD sovelluksiin.

19 Markkinat  DVB (DigiTV, HDTV, MHP?)  IP-pohjainen TV-jakelu (iTV)  Kannettavat matkapuhelimet ja pelit  Internet Streaming  Pakattu talletettu media (HD-DVD, Blueray)  Videoneuvottelut  Kotiverkot ja PVR (Personal Video Recorder)  Digitaalivideokamerat  Konvergenssilaitteet  Satelliittiradio

20 Useita soitintoimittajia  Flash Player 9  Apple QuickTime 7, iTunes 6 ja iPod  Real Player 10  Windows Media Player 11  DivX 4, 5, 6  On2 VP6  MPlayer 5.21  Ffdshow  Itse asiassa useimmat – elleivät kaikki – streaming soittimet tukevat joko natiivisti tai plugin avulla MPEG-4 standardia. Jopa Windows Media Player!streaming soittimet  Esim. http://www.mpegable.com/show/home.htmlhttp://www.mpegable.com/show/home.html

21 Flash Player 9 ja AIR  Macromedia Flash 8 (flv) dominoi jo nyt RIA-sovelluksia ja online videon markkinoita (cross-platform, YouTube, iTV). Microsoft Silverlight pyrkii samoille markkinoille. Macromedia Flash 8  MPEG-4 tuki Flash 9:ssä tarkoittaa, että kilpailu kiristyy ja H.264/ MPEG-4 Part10 AVC kaikkine mahdollisuuksineen tulee Webiin.  Encode once, play everywhere (delivery across any network to any user of any device). Flash 9 MovieStar:  H.264 Video Codec Base, Mainline ja High profiilit.  AAC Audio Codec Main, LC ja SBR (HE-AAC) profiilit.  3GP timed text tracks (tekstitys).  Hardware H.264 kiihdyttimien tuki.  Yhteinen API. flv,.mov,.mp4 ja. 3gp tiedostoille.  Myös Adobe Integrated Runtime (AIR) ja sen sovellukset tukevat.AIR

22 Streaming palvelimia  Macromedia (nyk. Adobe) Flash Media Server 2 (FMS 2) Streaming Server perustuu On2 VP6 MPEG-4 tekniikkaan. Tiedostomuoto (kääre) on FLV.Flash Media Server 2Streaming Server  Red-5. Open Source Flash Server. Kirjoitettu Javalla. Red-5Flash Server  Real Networks tukee MPEG-4 standardia Helix Server palvelimillaan.Helix Server  Apple tukee natiivisti MPEG-4 standardia Darwin Streaming Server palvelimillaan.Darwin Streaming Server  VideoLAN VLC (soitin ja palvelin).VLC