Teemu Alapaholuoma Tampereen Teknillinen Yliopisto, Porin Yksikkö DVB-H- Seminaari DVB-H Seminaari Specification for the use of Video and Audio Coding in DVB services delivered directly over IP Protocols DVB Document A084 Rev. 1, November 2005

Teemu Alapaholuoma Tampereen Teknillinen Yliopisto, Porin Yksikkö DVB-H- Seminaari Johdanto, DVB BlueBook A084 Rev. 1 •Dokumentti määrittelee IP- pohjaisissa DVB- palveluissa käytetyt audio- ja video- koodekit puuttumatta MPEG2- kuljetuskehykseen (TS, Transport Stream). •Määriteltyjä koodekkeja ovat H.264/AVC, VC-1, HE AAC v2 ja AMR-WB+. Edellämainittujen koodekkien tietovirran siirtoon käytetään RTP- paketteja. •RTP- tiedonsiirtoa varten jokaiselle koodekille on määritelty oma RFC- hyötykuormastandardi. DVB, Digital Video Broadcasting MPEG, Moving Pictures Experts Group H.264/AVC, H.264/Advanced Video Coding VC-1, Video Codec 1 HE AAC v2, High-Efficiency Advanced Audio Coding version 2 AMR-WB Adaptive Multi-Rate - Wideband AMR-WB+, Extended AMR-WB RTP, Real-time Transport Protocol

Teemu Alapaholuoma Tampereen Teknillinen Yliopisto, Porin Yksikkö DVB-H- Seminaari Protokollapino •IP- pohjaisissa DVB- palveluissa käytettyjen koodekkien tuottaman tietovirran kuljetukseen käytetään RTP- protokollaa. RTCP- protokolla valvoo tiedonsiirtoyhteyden ”laatua”. Vastaavasti RTSP- protokollan avulla muodostetaan ja ohjataan yhtä tai useampia aikasynkronisia ääni/video- tietovirtoja (vertaa Real Player- ohjelmisto). DVB, Digital Video Broadcasting RTP, Real-time Transport Protocol RTCP, RTP Control Protocol RTSP, Real-Time Streaming Protocol

Teemu Alapaholuoma Tampereen Teknillinen Yliopisto, Porin Yksikkö DVB-H- Seminaari HE AAC v2 ja ARM-WB+ tiedonsiirto ja limitys •HE AAC v2 ja ARM-WB+ kehykset voidaan limittää RTP- paketteihin. •Normaalissa tapauksessa kehykset sijoitetaan RTP- paketteihin jaksollisesti. Yhden RTP- paketin kadotessa vastaanottopäässä joudutaan rekonstruoimaan kolme peräkkäistä kehystä. •Limitystä käytettäessä kehykset sijoitetaan RTP- paketteihin epäjaksollisesti. Yhden RTP- paketin kadotessa vastaanottopäässä joudutaan rekonstruoimaan ainoastaan yksi kehys. HE AAC v2, High-Efficiency Advanced Audio Coding version 2 AMR-WB Adaptive Multi-Rate - Wideband AMR-WB+, Extended AMR-WB RTP, Real-time Transport Protocol

Teemu Alapaholuoma Tampereen Teknillinen Yliopisto, Porin Yksikkö DVB-H- Seminaari RTP- Synkronointi •Ääni ja kuva siirretään erillisissä RTP- datapaketeissa. Datapaketit sisältävät näytteenottohetken (sampling instant) aikaleiman. Tietovirtojen synkronisointi suoritetaan vastaanottopäässä erillisten ääni ja kuva RTCP SR- tietopakettien avulla. Lähettäjä sisällyttää tietopakettiin RTP- aikaleiman ja referenssiajan [At(k)/Vt(n)]. Näiden tietojen perusteella vastaanottopää suorittaa äänen ja kuvan aikasynkronisoinnin. RTP, Real-time Transport Protocol RTCP, RTP Control Protocol RTCP SR, RTCP Sender Report

Teemu Alapaholuoma Tampereen Teknillinen Yliopisto, Porin Yksikkö DVB-H- Seminaari H.264/AVC Video, Yleistä •Standardointityö toteutettu yhteystyössä ITU-T VCEG ja ISO/IEC välillä. •ITU-T standardi H.264 ja ISO/IEC standardi (MPEG-4 Part 10 tai AVC). •Soveltuu käytettäväksi matalan (64kbit/s, 176x144/15.0) tai suuren (960Mbit/s, 4096x2048/30.0) bittivirran nopeuksilla. •Käyttökohteena matkapuhelimet (Nokia N70) sekä uudet HD-DVD ja Blu-ray videomediaformaatit. •HD-DVD ja Blu-ray soittimissa toistimissa käytetään kiristyneitä kopioinninestomenetelmiä. Soittimien analogisten kuvaliitäntöjen resoluutioita pienennetään tarkoituksellisesti. Tämän tarkoituksena on ehkäistä suuriresoluutioisen videon kopiointia. •H.264- formaattia tukevat myös Applen iPod- mediasoittimet. ITU, International Telecommunication Union ITU-T, ITU Telecommunication ITU-T VCEG, ITU-T Video Coding Experts Group ISO, International Organization for Standardization IEC, International Electrotechnical Commission ISO/IEC MPEG, ISO/IEC Moving Picture Experts Group AVC, Advanced Video Coding HD DVD, High Density Digital Versatile Disc

Teemu Alapaholuoma Tampereen Teknillinen Yliopisto, Porin Yksikkö DVB-H- Seminaari H.264/AVC Video, NAL •H.264/AVC käsittää VCL- (Video Coding Layer) ja NAL- (Network Abstraction Layer) kerrokset. VCL- kerros hoitaa videokoodauksen ja NAL- kerros sovittaa H.264/AVC VCL- tietovirran kuljetuskerrokselle. •Kuljetuskerroksena voidaan käyttää RTP/IP- tai H.32X- protokollaa, MPEG-2 -tietorakennetta, MP4- tai MMS- tiedostoformaatteja. •NAL- parametrien avulla voidaan harvoin muuttuvaa lähetysinformaatiota päivittää, puuttumatta yksittäisten VCL NAL- elementtien sisältöinformaatiokenttiin.

Teemu Alapaholuoma Tampereen Teknillinen Yliopisto, Porin Yksikkö DVB-H- Seminaari H.264/AVC Video, Profiilit ja Tasot •Profiilit ja tasot helpottavat eri sovellusten yhtyeentoimivuutta. Profiilit määrittelevät käytettävät algoritmit ja parametrit yhdenmukaisen tietovirran toteuttamiseksi. Vastaavasti tasot määrittelevät profiilikohtaisesti tietovirran avainparametrit. Tiettyä profiilia tukevan dekooderin täytyy tukea kaikkia kyseiseen profiiliin liittyviä ominaisuuksia. •H.264/AVC määrittelee seitsemän profiilia. Ainoastaan tähdellä (*) merkittyjä profiileita käytetään ”DVB BlueBook A084 Rev. 1”. –Baseline Profile (*) –Extended Profile –Main Profile (*) –High Profile (*) –High 10 Profile –High 4:2:2 Profile –High 4:4:4 Profile

Teemu Alapaholuoma Tampereen Teknillinen Yliopisto, Porin Yksikkö DVB-H- Seminaari H.264/AVC Video, IP-IRD Kapasiteettiluokat •Kapasiteetit A,B,C käyttävät oletusarvoisesti Baseline- profiilia. Dekooderi joka tukee Main- ja High- profiileja voi valinnaisesti noudattaa kyseisiä profiileja. Baseline- profiilin yhteydessä asetetaan rajoituslippu (constraint_set1_flag=1) jotta bittivirta on dekoodattavissa myös Main- ja High- profiilien dekoodereissa. Rajoituslippua käytetään koska Baseline- profiilista disabloidaan FMO, ASO, RP optiot. Kyseisiä optioita ei käytetä Main- ja High- profiilissa. •D- kapasiteetti tukee Main- profiilia ja vastaavasti E- kapasiteetti High- profiilia ilman rajoituksia. IP-IRD, Integrated Receiver-Decoder for DVB services

Teemu Alapaholuoma Tampereen Teknillinen Yliopisto, Porin Yksikkö DVB-H- Seminaari VC-1 Video, Yleistä •Video Codec-1 (VC-1) standardi pohjautuu Microsoftin Windows Media Video version 9- (WMV9) koodekkiperheeseen. Virallinen standardointi toteutettu Society of Motion Picture and Television Engineers (SMPTE) organisaatiossa jossa dokumentointityön virallinen nimitys SMPTE 421M. •Vaikka VC-1 koodekki pohjautuu WMV9- koodekkiin se sisältää lisäominaisuuksia lomitellun videon koodaukseen. WMV9- koodekki oli lähtökohtaisesti suunniteltu lomittelemattoman videon koodaukseen. •Tulevaisuuden HD-DVD ja Blu-ray videomediaformaattia toistavien soittimien täytyy tukea VC-1 koodekkia. Lisäksi koodekkia käytetään XBOX360- pelikonsolissa.

Teemu Alapaholuoma Tampereen Teknillinen Yliopisto, Porin Yksikkö DVB-H- Seminaari VC-1 Video, Profiilit ja Tasot •VC-1 standardi määrittelee kolme profiilia. Profiilit määrittelevät käytettävät koodausominaisuudet ja syntaksin. Vastaavasti tasot määrittelevät profiilikohtaisesti videotietovirran bittinopeuden ja resoluution. Tiettyä profiilia tukevan dekooderin täytyy tukea kaikkia kyseiseen profiiliin liittyviä ominaisuuksia. •Verrattuna H.264- standardiin tasot VC-1 standardissa ovat määritelty/ sidottu tiettyyn profiiliin. VC-1 standardiin liittyvät profiilit ovat: –Simple –Main –Advanced •Kaikkia edellämainittuja profiileja käytetään ”DVB BlueBook A084 Rev. 1”. VC-1, Video Codec-1

Teemu Alapaholuoma Tampereen Teknillinen Yliopisto, Porin Yksikkö DVB-H- Seminaari VC-1 Video, IP-IRD Kapasiteettiluokat •Kapasiteetit A ja B käyttävät Simple- profiilia, ja vastaavasti C,D,E- kapasiteetit Advanced- profiilia. •VC-1 profiilit ja tasot on valittu helpottamaan IP-IRD:n suunnittelua siten että laskennalliset resurssivaatimukset vastaisivat/ tukisivat samaa H.264 ja VC-1 kapasiteettiluokkia. Tätä ei kuitenkaan pystytä takamaan kahden eri standardin välisten erojen takia.

Teemu Alapaholuoma Tampereen Teknillinen Yliopisto, Porin Yksikkö DVB-H- Seminaari MPEG-4 HE AAC v2, Audio, Yleistä •MPEG-4 Part 3 standardi (ISO/IEC ) määrittelee eri AAC- audiokoodausmenetelmiä (Advanced Audio Coding). Yksi menetelmistä on HE-AAC (High-Efficiency AAC). •HE-AAC on häviöllinen audiokoodausmenetelmä ja se muodostuu seuraavista teknologioista: LC-AAC (Low Complexity Advanced Audio Coding) ja SBR (Spectral Band Replication). •LC-AAC koodauksen avulla saavutetaan hyvälaatuinen ääni pienellä bittivirralla. Useimmissa tapauksissa enkoodaus prosessissa huomioidaan ainoastaan matalat taajuudet ja korkeat taajuudet karsitaan pois. •SBR- menetelmän avulla dekoodaus prosessissa voidaan ”rekonstruktoida” korkeiden taajuuksien informaatiosisältöä. Tämä tapahtuu kopioimalla matalien taajuuksien informaatiosisältö korkeille taajuuksille ja ”rekonstruktoida” korkeiden taajuuksien spektrialue. •MPEG-4 AAC formaattia käytetään Applen iTunes- verkkokaupassa ja iPod- mediasoittimissa.

Teemu Alapaholuoma Tampereen Teknillinen Yliopisto, Porin Yksikkö DVB-H- Seminaari MPEG-4 HE AAC v2, Audio, SBR Alkuperäinen spektrijakautuma. Matalien taajuuksien spektrisisältö kopioidaan korkeille taajuuksille. Korkeiden taajuuksien informaatiosisällön rekonstruktointi. SBR, Spectral Band Replication

Teemu Alapaholuoma Tampereen Teknillinen Yliopisto, Porin Yksikkö DVB-H- Seminaari MPEG-4 HE AAC v2, Audio, PS PS- menetelmässä stereosignaali yhdistetään Monaural- signaaliksi (”Yksikorvainen”) enkoodaus prosessissa. Dekoodaus prosessi suoritetaan enkooderin lähettämien ohjaustietojen mukaisesti. MPEG-4 HE AAC v1 (aacPlus v1) koostuu AAC- ja SBR- funktioista. MPEG-4 HE AAC v2 (aacPlus v2) koostuu AAC-, SBR- ja PS- (Parametric Stereo) funktioista. MPEG, Moving Pictures Experts Group HE, High-Efficiency AAC, Advanced Audio Coding SBR, Spectral Band Replication PS, Parametric Stereo

Teemu Alapaholuoma Tampereen Teknillinen Yliopisto, Porin Yksikkö DVB-H- Seminaari MPEG-4 HE AAC v2, Audio, Profiilit ja Luokat •HE AAC v2 on itsessään profiili joka sisältää AAC LC, SBR ja PS funktiot. •Tasoilla kaksi ja kolme mono tai stereo signaali. Vastaavasti tasoilla kolme ja neljä monikanavaääni mahdollisuus. HE, High-Efficiency AAC, Advanced Audio Coding LC, Low Complexity SBR, Spectral Band Replication PS, Parametric Stereo

Teemu Alapaholuoma Tampereen Teknillinen Yliopisto, Porin Yksikkö DVB-H- Seminaari AMR-WB+ Audio •AMR-WB+ koodekki määritelty ETSI standardissa TS •Soveltuu käytettäväksi mono ja stereo signaalien koodaukseen. •Molemmat AMR-WB+ enkooderi sekä dekooderi on määritelty 3GPP standardissa. Täten koodekkia käytetään UMTS- verkoissa. AMR-WB Adaptive Multi-Rate - Wideband AMR-WB+, Extended AMR-WB ETSI, European Telecommunications Standards Institute TS, Technical Specification UMTS, Universal Mobile Telecommunications System 3GPP, 3rd Generation Partnership Project

Teemu Alapaholuoma Tampereen Teknillinen Yliopisto, Porin Yksikkö DVB-H- Seminaari Lähteet Kalvo 6: Kalvo 8, Taulukko: Kalvo 10: Kalvo 11, taulukko Kalvo 13: Kalvot 14 ja 15 kuvat: S. Meltzer, "MPEG-4 HE-AAC v2 — audio coding for today's digital media world," EBU Technical Review, January 2006.