MATA2500 Information Theory (5 cr)

Opintojakson tarkoituksena on johdatella informaation käsitteen ja sen matemaattisen analysoinnin perusideoihin. Kurssin sisältö saattaa vaihdella hieman luentokertojen välillä, mutta suuntaa-antava sisältö on seuraava. 

• Informaatiosisältö
• Shannonin entropia
• Endollinen entropia
• Yhteisentropia
• Kullback-Leibler -divergenssi 
• Shannonin lähdekoodauslause
• Diskreetin muistittoman kanavan kapasiteetti
• Shannonin kanavakoodauslause
• Hiukan koodausteoriaa                                                     

Opintojakson suorittamisen jälkeen opiskelija:

• Tuntee ja osaa soveltaa informaatioteorian peruskäsitteitä, kuten entropia, kapasiteetti ja yhteisinformaatio.
• Ymmärtää tiedonsiirron ja pakkauksen perusongelmat.
• Ymmärtää mitä Shannonin lähde-ja kanavakoodauslauseet sanovat näistä perusongelmista.
• Osaa soveltaa edellämainittuja lauseita yksinkertaisissa tapauksissa.          
• Omaa hyvän ymmärryksen diskreeteistä satunnaismuuttujista.
• Omaa karkean yleiskuvan informaatioteorian sovelluskohteista.
• On tutustunut probabilistisiin olemassaolotodistuksiin.

Opintojaksolla oletetaan, että opiskelija on käynyt jonkin todennäköisyysmatematiikan kurssin ja on tottunut todistamispohjaiseen matematiikkaan. Eduksi on, jos hallitsee hyvin kombinatoriikan ja joukko-opin peruskäsitteet.

Todennäköisyys: Esim. MATA2600 Todennäköisyysmatematiikka tai MATA280 Stokastiikan perusteet.

Matemaattinen kypsyys: Opiskelija hallitsee matemaattisen todistamisen perusteet. On esimerkiksi käynyt JMA:t ja Lineaarialgebran tai insinöörimatematiikan opintokokonaisuuden.

Kombinatoriikka ja joukko-oppi: On käynyt jonkin kombinatoriikkaa tai joukko-oppia käsittelevän kurssin. 

Jos on epäselvyyttä sopiiko opintojakso itselle voi ottaa yhteyttä vastuuopettajaan.

The courses own lecture notes or, almost comparatively; David MacKay: Information Theory, Inference and Learning Algorithms, Sections 1-5 jand 8-10.