INFORMAATIOTEORIA & KOODAUS TÄRKEIMPIEN ASIOIDEN KERTAUS

Esitys aiheesta: "INFORMAATIOTEORIA & KOODAUS TÄRKEIMPIEN ASIOIDEN KERTAUS"— Esityksen transkriptio:

1 INFORMAATIOTEORIA & KOODAUS TÄRKEIMPIEN ASIOIDEN KERTAUS

2 Yhteenveto Informaatioteoria tarkastelee tiedonsiirtoa yleisemmällä, hieman abstraktilla tasolla (ei enää tarkastella signaaleja aika- tai taajuusalueissa). Saadaan käsitys järjestelmien saavutettavissa olevasta suorituskyvystä (mm. kapasiteetin Shannon-raja). Symboliin liittyvä informaation määrä on symbolin esiintymistodennäköisyyden käänteisarvon logaritmi. Jos logaritmin kantaluku on kaksi, niin yksikkönä on bitti (10  hartley, e  natti). Lähteen keskimääräistä informaatiota (keskimääräistä epävarmuutta) kutsutaan entropiaksi. Sen maksimiarvo saavutetaan, kun symbolit yhtä todennäköisiä (epävarmuus tuolloin suurin). Kanavan transitiodiagrammin, kanavamatriisin ja sen ehdollisten transitiotodennäköisyyksien P(yj|xi) avulla voidaan määritellä diskreetti kanavamalli, jonka todennäköisyyksien taakse kätkeytyy modulaatiomenetelmä ja muut järjestelmäparametrit. H(X) ja H(Y) ovat kanavan tulon ja lähdön entropiat. Kanavan tulon entropia on käytännössä sama kuin siihen liitettävän lähteen entropia.

3 Yhteenveto H(X|Y) on kanavan tulon keskimääräinen epävarmuus (ekvivokaatio, eli keskimääräinen menetetty, “harakoille” mennyt informaatio), kun kanavan lähdöstä on tehty havainto Y. Ennen havaintoa, epävarmuus oli H(X), joten noiden lukujen erotus kuvaa siirretyn tiedon määrää). H(Y|X) puolestaan kuvaa kanavan lähdön keskimääräistä epävarmuutta (virhe-entropiaa), kun tulo tiedetään. H(X,Y) on tiedonsiirtojärjestelmän kokonaisentropia. Keskinäisinformaatio (siirtoinformaatio) määritellään: I(X;Y) = H(X) – H(X|Y) = H(Y) – H(Y|X) Sen maksimimarvoa sanotaan kanavan kapasiteetiksi, joka maksimoituu lähdesymbolien todennäköisyyksien yli. Sen yksikkö on [bittiä/symboli]. Maksimi saavutetaan, kun siirrettävät symbolit ovat yhtä todennäköisiä, jolloin C = log2M [bit/symb].

4 Yhteenveto I(X;Y) H(X׀Y) H(Y׀X) H(X) H(Y) H(X,Y)
Yhteinen leikkauspinta-ala vastaa keskinäisinformaatiota I(X;Y) ja yhteispinta-ala (unioni) vastaa kokonaisentropiaa H(X,Y). Ideaalitapauksessa neliöiden tulisi olla päällekkäin, ts. H(X׀Y) = H(Y׀X) = 0 ja H(Y) = H(X) = I(X;Y) (kaikki lähteen informaatio siirtyy). I(X;Y) H(X׀Y) H(Y׀X) H(X) H(Y) H(X,Y)

5 Yhteenveto H(Y) I(X;Y) H(X) H(X׀Y) H(Y׀X)

6 Yhteenveto Lähteenkoodaus poistaa epäsystemaattista redundanssia, jotta informaation määrä lähetettyä symbolia kohden maksimoituu. Jos lähteen informaationopeus on pienempi kuin kanavan kapasiteetti, niin Shannonin 1. teoreeman nojalla voidaan löytää lähteenkoodausmenetelmä, jolla siirto onnistuu. Idea on sama kuin Morse-koodauksessa, eli annetaan pienin määrä symboleita useimmin toistuvalle kirjaimelle. Lähteenkoodausmenetelmiä: Shannon-Fano, Huffman (tuottaa suurimman tehokkuuden, eli se on optimaalinen lähdekoodi). Keskimääräinen sananpituus lähteenkoodauksessa lähestyy lähteen entropian arvoa. Kun ne ovat samoja, tehokkuus on 100%. Virheetön siirto (PE  0) on mahdollista Shannonin 2. teoreeman mukaan (kanavakoodausteoreema), jos lähteen informaationopeus on pienempi kuin kanavan kapasiteetti ja lähetykseen on käytettävissä riittävästi aikaa. Teoreema ei kerro miten nuo virheen korjaavat koodit löydetään. Niitä etsitään koodausteoriassa. Kanavakoodauksessa lisätään systemaattista redundanssia.

7 Yhteenveto Shannon-Hartley -laki sitoo lähetystehon ja kanavan kaistanleveyden toisiinsa (kaksi tärkeintä tiedonsiirron perusresurssia) : Huom! 2-kantainen logaritmi. Kaavan perusteella voidaan johtaa ns. Shannonin raja, johon kaikkia siirtojärjestelmiä verrataan. Siirtojärjestelmät: kaistarajoitetut, tehorajoitetut, sekä kaista- että tehorajoitetut. Kanavakoodausmenetelmät: forward error correction (FEC), automatic request and repeat (ARQ). ARQ tarvitsee paluukanavan. FEC: lohkokoodit, konvoluutiokoodit. Koodisuhde on k/n. (n,k) -lohkokoodissa on sanassa n–k pariteettibittiä ja k infobittiä. Systemaattisessa koodissa k infobittiä esiintyy sellaisenaan. Minimi-Hamming-etäisyyden dmin perusteella määräytyy koodin virheenkorjauskyky: t = (dmin–1)/2. Pariteetintarkistuskoodissa pariteettibitti ilmaisee yhden virheen.

8 Yhteenveto Toistokoodi on tehokas, mutta koodisuhde on huono (1/n).
Pariteetintarkistusmatriisilla [H] on ominaisuus: [H][T] = 0. Kun [R] = [T] + [E], oiresana [S] = [H][R] = [H][E], jonka perusteella voidaan paikallistaa yksi virhe: [S] on [H]:n sarake, joka vastaa virheen paikkaa. [A] = k:n bitin infosana ja [T] = n:n bitin koodattu sana sarakevektorina. Generaattorimatriisi: [T] = [G][A]. Hamming-koodi on yhden virheen korjaava koodi, jolla pariteetintarkistusmatriisin sarakkeet ovat sarakeindeksin binäärisiä vastineita. Oiresanan binäärinen vastine ilmaisee virheen paikan. Sykliset koodit ovat lohkokoodeja, joiden koodisanat saadaan yhden sanan syklisinä siirtoina. Kooderi ja dekooderi virheenkorjaimineen voidaan toteuttaa helposti takaisinkytketyilla siirtorekistereillä ja kombinaatiologiikkapiireillä.

9 Yhteenveto Koodatun järjestelmän kanavan symbolivirhetn. on suurempi kuin koodaamattoman järjestelmän samalla informaatiobittinopeudella, koska k:n informaatiosymbolin energia täytyy jakaa n:lle symbolille. Virheen korjaava koodaus tuo kuitenkin koodausvahvistusta, joka kompensoi menetyksen desibeleinä. Koodin ja kanavan ominaisuudet vaikuttavat koodausvahvistuksen määrään. Konvoluutiokoodeilla on vaikutuspituuden pituinen muisti, joka vaikuttaa virheenkorjauskykyyn. Dekoodausmenetelmät: puuhaku, Viterbi-algoritmi (suurimman uskottavuuden ML-ilmaisin), sekventiaalinen dekoodaus. Lomittelutaulukkoa käytetään ryöppyvirhe -ympäristössä satunnaistamaan virheet, jotta satunnaisvirheitä korjaavat koodit pystyvät niitä korjaamaan (esim. häipyvä monitiekanava matkapuhelintietoliikenteessä tai tahallinen häirintä sotilastietoliikenteessä).

10 Yhteenveto Heuristisesti keksitty turbokoodaus on koodaustapa, jolla päästään hyvin lähelle Shannonin rajaa. Toteutetaan lomittelijalla ja kahdella takaisinkytketyllä systemaattisella konvoluutiokooderilla (RSCC). Trelliskoodattu modulaatio, TCM, yhdistää M-tasoisen digitaalisen modulaation ja kanavakoodauksen siten, että todennäköisimmin bittivirheitä aiheuttavien symbolien välinen eukliidinen etäisyys kasvaa, mikä pienentää lopullista PE-arvoa. Menettely ei vaadi koodaamattomaan järjestelmään verrattuna lisätehoa ja lisäkaistanleveyttä (samalla bittinopeudella). TCM on siten sekä kaista- että tehorajoitettu siirtomenetelmä. Sitä kutsutaan myös Ungerboeck-koodaukseksi keksijänsä mukaan. TCM-dekoodaus suoritetaan Viterbi-algoritmilla pehmeää päätöksentekoa soveltaen (lasketaan eukliidista etäisyyttä) Hamming-etäisyyden laskennan sijaan (kova päätöksenteko).

11 THE END Huh…lopultakin!