INFORMAATIOTEORIAN JA KOODAUSMENETELMIEN PERUSTEET

Informaatioteoria ja koodausmenetelmät – Sisältö IT & koodaus liittyy näihin lohkoihin

Informaatioteoria ja koodausmenetelmät – Sisältö Johdanto Peruskäsitteitä Informaatio ja koodauksen jaottelu Entropia Diskreetit kanavamallit Yhdistetty (joint) ja ehdollinen (conditional) entropia Kanavan kapasiteetti Lähteen koodaus Esimerkkejä lähteen koodauksesta Lähteen koodaukseen liittyviä määritelmiä Shannon-Fano-koodaus Huffman-koodaus Luotettava tiedonsiirto kohinaisessa kanavassa AWGN-kanavan kapasiteetti (Shannon-Hartley-laki) Luotettava tiedonsiirto virheenkorjaavilla koodeilla (ortogonaaliset signaalit & aaltomuodot)

Informaatioteoria ja koodausmenetelmät – Sisältö Virheenkorjaavien koodien perusteet Koodauksen lajit: lähteen, kanavan ja salaus- koodaukset Tiedonsiirtojärjestelmien kanavakoodausmenetelmät Koodauksen peruskäsitteitä Binäärinen, ei-binäärinen, Lohkokoodaus, konvoluutiokoodaus Lomittelu & ryöppyvirheitä korjaavat koodit Ketjukoodaus Yhden virheen ilmaisevat pariteetintarkistuskoodit Toistokoodit Yhden virheen korjaavat pariteetintarkistuskoodit Hamming-koodit Sykliset koodit Lohkokoodatun ja koodaamattoman järjestelmän suorituskyvyn vertailu Konvoluutiokoodit Turbokoodaus Trelliskoodattu modulaatio (TCM) Yhteenveto

JOHDANTO

Johdanto Aiemmin digitaalisen siirron menetelmiä on tarkasteltu käytännön läheisesti dualistisessa aika-taajuusmaailmassa. Informaatioteoriassa tiedonsiirtoa tarkastellaan abstraktimmalla tasolla ajasta ja taajuudesta riippumattomilla käsitteillä. Näin saadaan syvällisempi näkemys tiedonsiirron luonteesta. Tiedonsiirto-ongelma pelkistetään diskreettien symbolien siirroksi, jonka peruskäsitteet (mm. informaatio, erilaiset entropiat, kanavan kapasiteetti) ovat määriteltävissä kanavan ja symbolien tapahtumatodennäköisyyksien avulla. Edellä esitettyjen aikatason signaalien sijaan siirretään symboleita diskretisoidussa siirtokanavassa. Modulaatiomenetelmät ja niiden parametrit (PE, Eb/N0, kaistanleveys, lähetysteho, jne.), kanavakoodaus sekä mahdollisesti häipyvä siirtokanava kätkeytyvät symbolien ns. ehdollisten siirtotodennäköisyyksien taakse. Modulaatiomenetelmän tms. valinta vaikuttaa PE-arvoon, joka puolestaan vaikuttaa kanavan symbolin siirtotodennäköisyyksiin.

Johdanto Informaatioteoriassa ollaan erityisesti kiinnostuneita informaation mitoista, lähteestä ja sen koodaamista, virheenkorjaavasta kanavakoodauksesta, salauskoodauksesta, siirtokanavan diskreetistä mallintamisesta ja kanavan kapasiteetista. Lähteenkoodauksessa poistetaan epäsystemaattista redundanssia. Esimerkiksi puhekooderilla pyritään pienentämään bittinopeutta. Vrt. PCM: 64 kb/s  GSM: < 10 kb/s. Puheen informaationopeus on kertaluokassa 100 bit/s, mutta sillä ei pysty tunnistamaan puhujaa. Kanavakoodauksessa lisätään systemaattista redundanssia virheiden paikantamiseksi tai korjaamiseksi (pariteettibitit). Salauskoodauksessa symboli muunnetaan hyvin monimutkaisella algoritmilla toiseksi (esim. Enigma -salaus). Epäsymmetrisen (RSA) avaimen salaus perustuu tekijöihin jaon (oletettuun) vaikeuteen.

Johdanto PE ≠ 0 IT:n avulla saadaan syvällisempi perspektiivi ideaalisen & optimaalisen tietoliikenne-järjestelmän suorituskykyyn, koska voidaan laskea saavutettavissa olevan suorituskyvyn yläraja, johon käytännön realisoituvia järjestelmiä verrataan. Realisoitavat järjestelmät sijoittuvat kuvan valkealle alueelle. Mitä lähempänä järjestelmä on ns. Shannonin kapasiteettirajaa, sitä parempi se on, eli nähdään tiedonsiirtomenetelmien sijoittuminen visuaalisesti (EB/N0,RB/B) -tasoon. Lähetysteho (siis SNR = EB/N0) ja kaistanleveys ovat kaksi tärkeintä tiedonsiirron perusresurssia. PE  0

Johdanto Shannonin kanavakoodausteoreema (Shannonin 2. teoreema): Jos lähteen informaationopeus on pienempi kuin kanavan kapasiteetti, on olemassa koodausmenettely, jolla lähteen tuottamat symbolit saadaan siirrettyä mielivaltaisen pienellä virhetodennäköisyydellä kanavan yli. Eli tietyillä ehdoilla ja sopivalla signaalirakenteen valinnalla on saavutettavissa mielivaltaisen pieni (PE  0) virhetodennäköisyys AWGN-kanavassa, kun käytettävissä on äärettömän paljon lähetysaikaa. Toteutuu esim. toistokoodilla. Teoreema on olemassaoloteoreema: koodaustapa on siis olemassa, mutta teoreema ei kerro miten nuo koodit löydetään. Virheenkorjaava koodaus on siis oleellinen osa digitaalisen tiedonsiirtojärjestelmän toteuttamista. Ensimmäinen tehtävä on informaation mitan määritteleminen.

Johdanto Matemaattisesti varsin raskas koodausteoria on tilastollisen tietoliikenneteorian yksi osa-alue (muut osa-alueet informaatio-, ilmaisu- ja estimointiteoria), joka tarkastelee sopivien lähteenkoodaus- ja kanavakoodausmenetelmien (koodien) etsintää. Koodausteoria ja informaatioteoria ovat jo lähtökohtaisesti läheisessä suhteessa toisiinsa, vaikkakin ne ovat erillisiä teorioita. Kummankin tuntemusta tarvitaan symbolien siirron syvälliseksi ymmärtämiseksi. Koodaukseen tärkeänä alalajina salauskoodaus, joka mm. soveltaa lukuteoriaa (esim. RSA -salaus internetissä). IT on eräänlainen ”tiedonsiirron kattoteoria”, jonka perusteet määritteli Claude Shannon v. 1948 (transistorin keksimisvuonna). Shannon ei kuitenkaan itse käyttänyt nimitystä informaatioteoria. Hänen tärkeimmät julkaisuna olivat ”A Mathematical Theory of Communications” ja ”Communication Theory of Secrecy Systems” (Bell System Technical Journal, 1948). Tarkastelemme tässä vain perusteita informaatiosta, diskreeteistä kanavamalleista, lähteen koodauksesta, kanavan kapasiteetista ja virheenkorjaavasta koodauksesta.

INFORMAATION MITAT (ENTROPIAT), DISKREETTI SIIRTOKANAVA JA SIIRTOKANAVAN KAPASITEETTI

Informaation riippuvuus todennäköisyyksistä Informaation määrän (mitan) riippuvuus todennäköisyydestä: A: ”Nähdään seuraavalla luennolla” B: ”Kolleegani jatkaa kurssia seuraavalla luennolla” C: ”Lopetetaan tähän, eikä pidetä tenttiä. Saatte kuitenkin kaikki 5/5.” Mitä epätodennäköisempi tapahtuma (symboli), sitä enemmän informaatiota se sisältää. Olkoon symbolin xj todennäköisyys p(xj). Siihen liittyvä (lähetetty) informaatio: Yksikköinä hartley (a=10), bitti (a=2) tai natti (a=e). 2-kantainen käytetyin. Kolikonheittokokeessa kruuna ja klaava bitteinä.

Esimerkki 1

Entropia Kokeen tuloksen (lähteen symbolien) keskimääräistä informaatiota kuvaa entropian käsite, eli todennäköisyyksillä painotettu informaatioiden keskiarvo. Sitä kutsutaan myös keskimääräiseksi epävarmuudeksi. Entropia (epävarmuus) on maksimissaan, kun kaikki tapahtumat (symbolit) ovat yhtä todennäköisiä. Entropia on alun perin tilastollisen fysiikan piiriin kuuluva lämpöopin käsite ja se (ts. suljetun systeemin epäjärjestys) kasvaa ajan edetessä. Informaatioteoria on ”lainannut” entropian nimityksen kaavasta (Bolzmann) S = kln(W) (W = jonkun tilavuuden sisältämien atomien kaikki mahdolliset järjestyskombinaatiot, joka on hyvin suuri luku!), vaikkakaan sillä ei ole mitään suoranaista tekemistä lämpöopin kanssa. IT ei lainkaan tarkastele informaation semanttista merkitystä (semanttinen informaatio), vaan ainoastaan tietoliikenneteoreettista ja -teknistä symbolien siirtoa, jota voidaan tarkastella/kuvata todennäköisyyksien avulla. Jo Shannon korosti asian erityisluonnetta!

Esimerkki 2

Entropian maksimiarvo: H = log2(n) Todistetaan entropian maksimiarvo. Olkoon kokeessa n mahdollista tapahtumaa, siten että pn = 1 – (p1 + p2 + ... + pn–1). Olkoon pk jonkun tapahtuman tn. jonka suhteen H derivoidaan. Kaikki tn:t paitsi pk ja pn ovat vakioita. Mikä on nolla, joss pk = pn. Toisaalta, pk oli mielivaltainen, joten symbolien todennäköisyyksille täytyy olla voimassa:

Diskreetit kanavamallit Oletetaan muistiton kanava, eli kanavan lähdön symboli riippuu vain samanhetkisestä tulosymbolista eikä aiemmista (ei ISI:ä tai muuta muistillista riippuvuutta symbolien välillä). Diskreetti kanavamalli voidaan kuvata kanavan ehdollisten siirto-todennäköisyyksien avulla pij = p(yj׀xi) (Huom! indeksit), jotka linkittävät kanavan lähtösymbolien todennäköisyydet tulosymbolien todennäköisyyksiin. Ne ovat ns. kanavan siirtotodennäköisyyksiä. Siirtotodennäköisyydet ovat lähetystehon, kohinan, symbolinopeuden, modulaatiomenetelmän, käytetyn kanavakoodauksen, stokastisen kanavamallin, jne. funktioita, ts. ne ovat kaikki sisällytetty symbolin siirtotodennäköisyyden arvoon.

Diskreetit kanavamallit Jos [P(X)] kirjoitetaan diagonaalimatriisiksi saadaan matriisi [P(X,Y)], jonka alkiot ovat muotoa p(xi,yj) = p(xi)p(yj׀xi), ja jota sanotaan yhdistetyksi todennäköisyysmatriisiksi (joint probability matrix). Sitä tarvitaan myöhemmin ehdollisten entropioiden määrittelyn yhteydessä. p(xi,yj) kuvaa yhdistettyä todennäköisyyttä että xi on lähetetty ja yj vastaanotettu. Kuvassa y2 voisi olla päätös pyytää uudelleenlähetystä ARQ-periaatteella symbolin ollessa epävarma.

Esimerkki 3 Oikean siirron tn. Bittivirhetn.

Diskreetit kanavamallit: kaskadikanavat Satellittitransponderia mallinnetaan kahden kanavan kaskadikytkennällä. Kanavat saadaan yhdistettyä kertomalla kanavamatriisit (voidaan osoittaa laskemalla kaikki mahdolliset tn.-polut kaskadikytkennässä):

Yhdistetty (joint) entropia ja ehdollinen (condit.) entropia Ko. entropiat liittyvät diskreettiin siirtokanavaan, ja sen tuloon ja lähtöön. H(X) liittyi aiemmin lähteeen tuottamiin symboleihin. Nyt kanavan tulon entropia H(X) on sama kuin lähteen entropia. H(Y) on kanavan lähdön entropia. Yhdistetty entropia H(X,Y) kuvaa kanavan kokonaisentropiaa. H(X׀Y) on keskimääräinen menetetty informaatio (ekvivokaatio) ja H(Y׀X) on virhe-entropia.

Yhdistetty (joint) entropia ja ehdollinen (condit.) entropia H(X) on kanavan tulon (ts. lähteen) keskimääräinen epävarmuus. H(Y) on vastaanotetun symbolin keskimääräinen epävarmuus. H(X׀Y) (ekvivokaatio) on epävarmuus lähetetystä symbolista sen jälkeen kun symboli on vastaanotettu. Ennen symbolin vastaanottoa kanavan tulosymbolin epävarmuus oli H(X), eli sama kuin lähteellä. H(Y׀X) on vastaanotetun symbolin epävarmuus ehdolla, että X lähetettiin. Se on virhe-entropian määrä lähtösymboleissa. H(X,Y) on koko siirtojärjestelmän keskimääräinen epävarmuus. Kokonaisentropialla H(X,Y) on yhteys ehdollisiin entropioihin. I(X;Y) H(X,Y) H(X׀Y) H(Y׀X) H(X) H(Y)

Diskreetin siirtokanavan kapasiteetti Tarkastellaan havainnoitsijana kanavan lähtöä. Havaitsijan epävarmuudella kanavan tulosymbolista on tietty arvo ennen kanavan lähdöstä saatua symbolia, ja tuo epävarmuus luonnollisesti pienenee kanavan lähtösymbolin vastaanottamisen jälkeen, ts. H(X׀Y)  H(X). Epävarmuuden pienemisen määrä (erotus) on mitta keskimääräisestä siirretystä informaatiosta, jota kutsutaan keskinäisinformaatioksi (mutual information I(X;Y), keskimääräiseksi siirretyksi informaatioksi tai siirtoinformaatioksi (transinformation) oppikirjasta riippuen. Se riippuu edellä määritellyistä entropioista: Keskinäisinformaatio on siis lähteen tuottamien symbolien todennäköisyyksien ja kanavan siirtotodennäköisyyksien funktio, eli ainoastaan niillä voidaan vaikuttaa siirtyvän I(X;Y):n määrään.

Entropioiden ja siirtyvän informaation välinen riippuvuus Yhteinen leikkauspinta-ala vastaa keskinäisinformaatiota I(X;Y) ja yhteispinta-ala (unioni) vastaa kokonaisentropiaa H(X,Y). Ideaalitapauksessa neliöiden tulisi olla päällekkäin, ts. H(X׀Y) = H(Y׀X) = 0 ja H(Y) = H(X) = I(X;Y) (kaikki lähteen informaatio siirtyy). I(X;Y) H(X,Y) H(X׀Y) H(Y׀X) H(X) H(Y)

Entropioiden ja siirtyvän informaation välinen riippuvuus H(Y) I(X;Y) H(X) H(X׀Y) H(Y׀X)

Diskreetin siirtokanavan kapasiteetti (S) Todistetaan seuraavaksi, että H(X׀Y)  H(X) osoittamalla, että H(X׀Y) – H(X) = –I(X;Y)  0, kun tiedetään, että ln(x)  x–1.

Diskreetin siirtokanavan kapasiteetti Kapasiteetti on keskinäisinformaation I(X;Y) maksimiarvo, eli keskimääräisen informaation maksimimäärä per symboli, joka voidaan siirtää kanavan yli. Maksimointi suoritetaan lähdesymbolien todennäköisyyksien yli. Kanavan kapasiteetti on tuolloin vain ja ainoastaan kanavan siirtotodennäköisyyksien funktio, koska maksimointiprosessi eliminoi riippuvuuden lähdesymbolien todennäköisyyksistä. Modulaatiomenetelmä, teho, kaistanleveys, koodaus, yms. asiat vaikuttavat kapasiteetin arvoon siirtotodennäköisyyksien kautta. Vaatii ”pelisilmää” nähdä kumpi ao. kaavoista tuottaa helpommin laskettavissa olevan lausekkeen I(X;Y):lle:

Esimerkki 4

Esimerkki 5

Esimerkki 5 Kapasiteettilla maksimiarvo, vaikka kaikki vastaanotetut symbolit virheellisiä! Saadaan siis oikeiksi bitin käännöllä, Koska epävarmuutta ei esiinny. Virheetön siirto ja sama lähetettyjen symbolien a priori –todennäköisyys maksimoi I(X;Y):n arvon Kaikki bitit virheellisiä

Binäärisymmetrinen kanava (BSC) BSC:n virhetodennäköisyys PE voidaan laskea helposti: Eli ehdoton virhetodennäköisyys PE on sama kuin ehdollinen virhetodennäköisyys P(yj׀xi) = q, i ≠ j. PE on parametrin z = Eb/N0 funktio. Vakiolähetysteholla PE:n arvoa voidaan parantaa lähteen symbolinopeutta pienentämällä. Se voidaan siis käytännössä toteuttaa esim. lähteenkoodauksella epäsystemaattista redundanssia poistamalla. Esimerkkinä puheenkoodaus matkapuhelinjärjestelmässä ja kuvainformaation pakkaus kuvankäsittelyssä, tai yleensä vain tiedostojen pakkaus (ns. ”zippaus”) tiedostojen koon pienentämiseksi siirtoa, talletusta, jakelua, yms. varten.

Esimerkki 6

Esimerkki 6

Esimerkki 7: Binary erasure channel (S) Esim. pyydetään symbolin uudelleenlähetystä, jos on todettu symbolin olevan epäluotettava (esim. päätösmuuttujan arvo lähellä päätöksentekokynnystä).

Esimerkki 7: Binary erasure channel (S)

Lyhyt kertaus entropioista ja kanavan kapasiteetista H(X) on kanavan tulon X entropia ennen lähdöstä Y tehtyä havaintoa. H(X׀Y) on kanavan tulon X entropia sen jälkeen kun lähtö Y on havaittu. Koska kanava ei ole kohinaton, osa lähteen X entropiasta H(X) menetetään kanavassa (ekvivokaatio H(X׀Y) menee siis ”harakoille”). Jäljelle jäänyt entropia on keskimääräinen siirretty informaatio, joka siis sisältyy kanavan lähdön entropiaan. Loppuosa lähdön Y entropiasta H(Y) on virhe-entropiaa, joka johtuu kanavassa esimerkiksi kohinan vuoksi syntyneistä virheistä. H(Y׀X) on siis kanavasta lähetykseen mukaan tullutta ”skeidaa”. I(X;Y) maksimoidaan lähdesymbolien esiintymistodennäköisyyksien yli kanavan kapasiteetin maksimoimiseksi. Kanavamatriisin siirtotodennäköisyydet ovat vain järjestelmäparametreista riippuvia vakioita. Järjestelmäparametrien valinnalla voidaan tietenkin vaikuttaa kanavamatriisin siirtotodennäköisyyksiin, mikä on järjestelmäsuunnittelun perimmäinen tavoite.

Lyhyt kertaus entropioista ja kanavan kapasiteetista I(X;Y):n maksimoinnin jälkeen kapasiteetti on vain siirtotodennäköisyyksien (kanavamatriisin) funktio, koska riippuvuus lähdesymboleista on eliminoitu. Kun kanavalla on n kpl tulosymboleita, on sen maksimikapasiteetti: Cmax = log2(n) [bitiä/symboli, tai bittiä/kanavan käyttökerta] Kohinattomassa kanavassa: H(X׀Y) = 0 ja I(X;Y) = H(X). Käyttökelvottomassa kanavassa: H(X׀Y) = H(X), H(Y) = H(Y׀X), I(X;Y) = H(X) – H(X׀Y) = H(Y) – H(Y׀X) = 0 Käytännössä tulisi siis olla: I(X;Y)  H(X)  H(Y) Ehdollisten entropioiden H(X׀Y) ja H(Y׀X) laskennassa tarvitaan tn.-laskennan kaavoja:

Lyhyt kertaus entropioista ja kanavan kapasiteetista I(X;Y) H(X) H(X׀Y) H(Y׀X)