INFORMAATIOTEORIA & KOODAUS TÄRKEIMPIEN ASIOIDEN KERTAUS

Esitys aiheesta: "INFORMAATIOTEORIA & KOODAUS TÄRKEIMPIEN ASIOIDEN KERTAUS"— Esityksen transkriptio:

1 INFORMAATIOTEORIA & KOODAUS TÄRKEIMPIEN ASIOIDEN KERTAUS
521361A Tietoliikennetekniikka II Osa Kari Kärkkäinen Syksy 2015

2 Yhteenveto Informaatioteoria tarkastelee tiedonsiirtoa yleisemmällä, hieman abstraktilla tasolla (ei enää tarkastella signaaleja aika- tai taajuusalueissa). Siten saadaan käsitys järjestelmien saavutettavissa olevasta suorituskyvystä (mm. kapasiteetin Shannon-raja). Symboliin liittyvä informaation määrä on symbolin esiintymistodennäköisyyden käänteisarvon logaritmi. Jos logaritmin kantaluku on kaksi, niin yksikkönä on bitti (10  hartley, e  natti). Lähteen keskimääräistä informaatiota (keskimääräistä epävarmuutta) kutsutaan entropiaksi, jonka maksimiarvo saavutetaan, kun symbolit yhtä todennäköisiä (myös epävarmuus tuolloin suurin). Kanavan transitiodiagrammin, kanavamatriisin ja sen ehdollisten transitiotodennäköisyyksien P(yj|xi) avulla voidaan määritellä diskreetti kanavamalli, jonka todennäköisyyksien taakse kätkeytyy modulaatiomenetelmä ja muut järjestelmäparametrit. H(X) ja H(Y) ovat kanavan tulon ja lähdön entropiat. Kanavan tulon entropia on käytännössä sama kuin siihen liitettävän lähteen entropia. 521361A Tietoliikennetekniikka II Osa Kari Kärkkäinen Syksy 2015

3 Yhteenveto H(X|Y) on kanavan tulon keskimääräinen epävarmuus (ekvivokaatio), eli keskimääräinen “harakoille mennyt” menetetty informaatio, kun kanavan lähdöstä on tehty havainto Y. Ennen havaintoa, epävarmuus oli H(X), joten noiden lukujen erotus kuvaa siirretyn tiedon määrää. H(Y|X) puolestaan kuvaa kanavan lähdön sisältämää keskimääräistä epävarmuutta (virhe-entropiaa), kun tulo tiedetään. H(X,Y) on tiedonsiirtojärjestelmän kokonaisentropia. Keskinäisinformaatio (siirtoinformaatio) määritellään: I(X;Y) = H(X) – H(X|Y) = H(Y) – H(Y|X) Sen maksimimarvoa sanotaan kanavan kapasiteetiksi, joka maksimoituu lähdesymbolien todennäköisyyksien yli. Sen yksikkö on [bittiä/symboli]. Maksimi saavutetaan, kun siirrettävät symbolit ovat yhtä todennäköisiä, jolloin Cmax = log2M [bit/symb]. 521361A Tietoliikennetekniikka II Osa Kari Kärkkäinen Syksy 2015

4 Yhteenveto Yhteinen leikkauspinta-ala vastaa keskinäisinformaatiota I(X;Y) ja yhteispinta-ala (unioni) vastaa kokonaisentropiaa H(X,Y). Ideaalitapauksessa neliöiden tulisi olla päällekkäin, ts. H(X׀Y) = H(Y׀X) = 0 ja H(Y) = H(X) = I(X;Y) (kaikki lähteen informaatio siirtyy). I(X;Y) H(X׀Y) H(Y׀X) H(X) H(Y) H(X,Y) 521361A Tietoliikennetekniikka II Osa Kari Kärkkäinen Syksy 2015

5 Yhteenveto I(X;Y) H(X) H(Y) H(X׀Y) H(Y׀X)
521361A Tietoliikennetekniikka II Osa Kari Kärkkäinen Syksy 2015

6 Yhteenveto Lähteenkoodaus poistaa epäsystemaattista redundanssia, jotta informaation määrä lähetettyä kanavasymbolia kohden maksimoituu. Jos lähteen informaationopeus on pienempi kuin kanavan kapasiteetti, niin Shannonin 1. teoreeman nojalla voidaan löytää lähteenkoodausmenetelmä, jolla siirto onnistuu. Idea on sama kuin Morse-koodauksessa, eli annetaan pienin määrä symboleita useimmin toistuvalle kirjaimelle. Vrt. Kirjainten ASCII- (8 bit) ja Morsedoodaus. Lähteenkoodausmenetelmiä: Shannon-Fano, Huffman (tuottaa suurimman tehokkuuden, eli se on optimaalinen lähdekoodi). Keskimääräinen sananpituus lähteenkoodauksessa lähestyy lähteen entropian arvoa. Kun ne ovat samoja, ”zippauksen” tehokkuus 100%. Virheetön siirto (PE  0) on mahdollista Shannonin 2. teoreeman mukaan (kanavakoodausteoreema), jos lähteen informaationopeus on pienempi kuin kanavan kapasiteetti ja lähetykseen on käytettävissä riittävästi aikaa. Teoreema ei kerro miten nuo virheen korjaavat koodit löydetään. Niitä etsitään koodausteorian avulla. Kanavakoodauksessa lisätään systemaattista redundanssia. 521361A Tietoliikennetekniikka II Osa Kari Kärkkäinen Syksy 2015

7 Yhteenveto Shannon-Hartley -laki sitoo lähetystehon ja kanavan kaistanleveyden toisiinsa, siis kaksi tärkeintä tiedonsiirron perusresurssia: Huom! 2-kantainen logaritmi. Kaavan perusteella voidaan johtaa ns. Shannonin raja, johon kaikkia siirtojärjestelmiä verrataan. Siirtojärjestelmät: kaistarajoitetut, tehorajoitetut, sekä kaista- että tehorajoitetut (esim. TCM). Kanavakoodausmenetelmät: forward error correction (FEC), automatic request and repeat (ARQ). ARQ tarvitsee paluukanavan. FEC-periaqate: lohkokoodit, konvoluutiokoodit. Koodisuhde on k/n. (n,k) -lohkokoodissa on sanassa n–k pariteettibittiä ja k infobittiä. Systemaattisessa koodissa k infobittiä esiintyy sellaisenaan. Minimietäisyyden dmin perusteella määräytyy lohkokoodin korjauskyky: t = (dmin–1)/2. Konvoluutiokoodeilla se on: t = (dfree–1)/2 Pariteetintarkistuskoodissa pariteettibitti ilmaisee yhden virheen. 521361A Tietoliikennetekniikka II Osa Kari Kärkkäinen Syksy 2015

8 Yhteenveto Toistokoodi on tehokas, mutta koodisuhde on huono (1/n).
Pariteetintarkistusmatriisilla [H] on ominaisuus: [H][T] = 0. Kun [R] = [T] + [E], ja oiresana [S] = [H][R] = [H][E], jonka perusteella voidaan paikallistaa yksi virhe: [S] on laskennan perusteella se [H]:n sarake, joka vastaa virheen paikkaa. [A] = k:n bitin infosana ja [T] = n:n bitin koodattu sana sarakevektorina. Generaattorimatriisi: [T] = [G][A]. Hamming-koodi on yhden virheen korjaava koodi, jolla pariteetintarkistusmatriisin sarakkeet ovat sarakeindeksin binäärisiä vastineita. Niillä oiresanan binäärinen vastine ilmaisee virheen paikan. Sykliset koodit ovat lohkokoodeja, joiden koodisanat saadaan yhden koodisanan syklisinä siirtoina. Kooderi ja dekooderi virheenkorjaimineen voidaan toteuttaa helposti takaisinkytketyilla siirtorekistereillä ja kombinaatiologiikkapiireillä. 521361A Tietoliikennetekniikka II Osa Kari Kärkkäinen Syksy 2015

9 Yhteenveto Koodatun järjestelmän kanavan symbolivirhetn. on suurempi kuin koodaamattoman järjestelmän samalla informaatiobittinopeudella, koska k:n informaatiosymbolin energia täytyy jakaa n:lle kooatulle symbolille (aikayksikössä lähetettävä n/k bittiä kanavaan). Virheen korjaava koodaus tuo kuitenkin koodausvahvistusta, joka kompensoi menetyksen desibeleinä. Koodin ja kanavan ominaisuudet vaikuttavat koodausvahvistuksen määrään. Lomittelutaulukkoa käytetään ryöppyvirhe -ympäristössä satunnaistamaan virheet, jotta satunnaisvirheitä korjaavat koodit pystyvät niitä korjaamaan (esim. häipyvä monitiekanava matkapuhelintietoliikenteessä tai tahallinen häirintä sotilastietoliikenteessä). Myös ketjukoodausta voidaan käyttää. Konvoluutiokoodeilla on vaikutuspituuden pituinen muisti, joka vaikuttaa virheenkorjauskykyyn. Dekoodausmenetelmät: puuhaku, Viterbi-algoritmi (suurimman uskottavuuden ML-ilmaisin), sekventiaalinen dekoodaus. 521361A Tietoliikennetekniikka II Osa Kari Kärkkäinen Syksy 2015

10 Yhteenveto Heuristisesti keksitty turbokoodaus on koodausmenetelmä, jolla päästään hyvin lähelle Shannonin rajaa. Toteutetaan lomittelijalla ja kahdella takaisinkytketyllä systemaattisella konvoluutiokooderilla (RSCC). Trelliskoodattu modulaatio – TCM - yhdistää M-tasoisen digitaalisen modulaation ja kanavakoodauksen siten, että todennäköisimmin bittivirheitä aiheuttavien symbolien välinen eukliidinen etäisyys kasvaa, mikä pienentää lopullista PE-arvoa VA-ilmaisun jälkeen. Menettely ei vaadi koodaamattomaan järjestelmään samalla informaationopeudella verrattuna lisätehoa ja lisäkaistanleveyttä. TCM on siten sekä kaista- että tehorajoitettu siirtomenetelmä. Sitä kutsutaan myös Ungerboeck-koodaukseksi keksijänsä mukaan. TCM-dekoodaus suoritetaan Viterbi-algoritmilla pehmeää päätöksentekoa soveltaen (lasketaan eukliidista etäisyyttä) Hamming-etäisyyden laskennan sijaan (kova päätöksenteko Hamming-laskennassa). 521361A Tietoliikennetekniikka II Osa Kari Kärkkäinen Syksy 2015