Osnove teorije informacija

Osnove teorije informacija

• Teorija informacija proučava kvantifikaciju, prenos i obradu informacija.
• Osnovni koncepti obuhvataju entropiju, količinu informacije, kodiranje i prenos podataka.
• Teorija informacija se primenjuje u oblastima kao što su kompresija podataka (ZIP, MP3, JPEG), digitalne komunikacije (Wi-Fi, mobilne mreže), kriptografija, sigurnost podataka, strojno učenje i umjetna inteligencija.

Značaj teorije informacija

• Razumevanje efikasnog prijenosa i pohrane podataka je ključni cilj.
• Minimiziranje količine podataka bez gubitka informacija primenjuje se u kompresiji (ZIP, MP3, JPEG).
• Povećanje sigurnosti podataka se postiže kroz ulogu entropije u enkripciji i jačini lozinki.
• Efikasniji prijenos informacija se postiže preko Wi-Fi, mobilnih mreža i optičkih kablova.
• Teorija informacija ima široku primenu u računarstvu, znanosti, strojnom učenju, umjetnoj inteligenciji i bioinformatici.

Claude Shannon i počeci teorije informacija

• Claude Shannon je poznat kao "otac teorije informacija".
• Shannonov rad "Mathematical Theory of Communication" iz 1948. godine je temeljni doprinos.
• Shannon je prvi formalno definisao informaciju i entropiju.
• Ključne ideje Shannonove teorije su da je informacija smanjenje nesigurnosti,model komunikacijskog kanala (izvor, kanal, prijemnik, šum) i kapacitet kanala sa ograničenjima prijenosa.
• Shannonov rad je i danas važan i predstavlja temelj modernih komunikacijskih sustava, kompresije podataka, kriptografije i strojnog učenja.

Ključni koncepti teorije informacija

• Podaci su sirove činjenice, dok je informacija obrađeni kontekst.
  • Primer: "25°C" je podatak, a "Vani je toplo" je informacija.
• Količina informacije ovisi o nepredvidivosti događaja.
  • Bit je osnovna jedinica informacije.
• Informacija smanjuje nesigurnost.
  • Više nepredvidiva poruka = više informacija.
• Entropija meri količinu informacije.
  • Viša entropija=više nesigurnosti kao što su lozinke i šifrirani podaci.
• Kodiranje je način učinkovite pohrane i prijenosa podataka.
• Shannonov model prijenosa informacija kroz kanal uključuje : izvor → kanal → prijemnik (+ šum).

Šta je informacija?

• Informacija smanjuje nesigurnost, pri čemu nepredvidljivi događaji donose više informacija.
• Podaci su sirove činjenice, a informacija je njihov smisleni kontekst.
• Ishod bacanja kocke nosi više informacija nego bacanje novčića.
• Osnovna jedinica informacije je jedan bit (da/ne, 0/1).

Mjerenje količine informacije

• Količina informacije direktno zavisi od nepredvidivosti događaja.
  • Veći broj mogućih ishoda = više informacija.
• Bit je osnovna mjera informacije, 1 bit je izbor između dvije jednako vjerojatne opcije (0/1, da/ne).
• I = − log2 P(X) je Shannonova formula za količinu informacije.
  • Manja vjerojatnost → veća informacija.
• Bacanje novčića daje 1 bit informacije, a bacanje kocke (~2.58 bita).

Definisanje entropije

• Entropija predstavlja prosječnu količinu informacije u skupu mogućih događaja.
• Entropija je mjera nesigurnosti ili nepredvidivosti sustava.
• Matematička definicija entropije(Shannonova entropija): H(x) = − ΣP(x) log2 P(x)
• Veća entropija = veća nesigurnost (nasumični podaci),manja entropija = manja nesigurnost (predvidivi podaci).
• Bacanje kocke ima veću entropiju od bacanja pristranog novčića.

Entropija u svakodnevnom životu

• Česta slova u jeziku imaju nižu entropiju, dok rijetke riječi imaju višu informativnu vrijednost.
• Jednostavne lozinke poput "123456" imaju nisku entropiju i lako se pogađaju, za razliku od kompleksnih lozinki poput "T8v@pG!r9#" koje imaju visoku entropiju.
• Više ponavljanja u podacima rezultira manjom entropijom i većom mogućnošću kompresije (ZIP, JPEG).
• Nasumični podaci (šifrirani tekst) imaju visoku entropiju, pa ih je teško komprimirati.
• Lutrija sa milijun mogućih brojeva ima višu entropiju od bacanja kocke.

Izračunavanje entropije bacanjem poštene Kocke

• Svaki broj (1-6) ima istu vjerojatnost: P(x) = 1/6.
• Formula: H(X) = − Σ P(x) log2 P(x)
• Izračun: H(X) = − Σ (1/6) log2 (1/6) = log2 6 ≈ 2,58 bita
• Svako bacanje poštene kocke nosi oko 2.58 bita informacije.
• Veći broj ishoda povećava entropiju (nesigurnost).

Izračunavanje entropije bacanjem pristrane kocke

• Neki ishodi(broj 6)se javljaju češće što znači P(6) = 0,5, ostali brojevi P(1) = P(2) = P(3) = P(4) = P(5) = 0,1.
• Formula: H(X) = − Σ P(x) log2 P(x)
• Izračun: H(X) = −(5 × 0,1 log2 0,1 + 0,5 log2 0,5) ≈ 2,15 bita.
• Entropija je manja kod pristrane kocke jer neki ishodi dominiraju.
• Manja nesigurnost = manje informacije kod bacanja.

Interpretacija entropije

• Visoka entropija indicira veću nesigurnost i više informacija prisutnih u nasumičnim podacima, šifriranim tekstovima i snažnim lozinkama.
• Niska entropija ukazuje na manju nesigurnost i manje informacija, karakteristično za ponovljene podatke, predvidive obrasce i slabe lozinke.
• Entropija =0 znači da je sustav potpuno predvidiv (nema nove informacije), a maksimalana entropija se javlja kada su svi ishodi jednako vjerojatni.
• Kriptografija zahteva visoku entropiju . Analiza obrazaca u podacima se koristi u umjetnoj inteligenciji.
• Podaci s niskom entropijom se lako komprimiraju.

Entropija u kompresija podataka

• Više ponavljanja u podacima rezultira manjom entropijom i većom mogućnošću kompresije.
• Podaci s visokom entropijom su teže komprimirani.
• ZIP i GZIP uklanjaju redundantne znakove u tekstualnim podacima.
• JPEG i MP3 uklanjaju podatke koje ljudsko oko/uho ne percipira.
• Nasumični (kriptirani) fajlovi se ne mogu efikasno komprimirati.

Entropija u kibernetičkoj sigurnosti i kriptografiji

• Jačina lozinke direktno ovisi o entropiji.
  • "123456" (niska entropija) se lako pogađa.
  • "T8v@pG!r9#" (visoka entropija) se teže pogađa.
• Sigurni enkripcijski ključevi moraju imati visoku entropiju.
• Dictionary attack napada sustave sa niskom entropijom koristeći se čestim lozinkama.
• Brute-force attack napada sustave tako štoomogućava brzo testiranje svih mogućih kombinacija.

Entropija u umjetnoj inteligenciji i analizi podataka

• Visoka entropija znači da su podaci raznovrsni i nasumični, a niska entropija znači da su predvidivi i sadrže ponavljanja.
• Entropija olakšava modelima odlučivanja (npr. decision trees) i algoritmima poput ID3 da klasificiraju podatke.
• Analiza korisničkog ponašanja i prepoznavanje anomalija u kibernetičkoj sigurnosti je moguća.

Shannonov teorem i informacijski prijenos

• Shannonov model prijenosa: izvor → kanal → prijemnik.
• Prijenos može biti otežan zbog šuma, gubitaka i kapaciteta.
• Shannon je definirao temelje moderne digitalne komunikacije 1948. godine.
• Razmatranje kako maksimizirati količinu informacija koja se može prenijeti kroz kanal je ključno.
• Shannonova teorija razmatra: sigurnost prijenosa kroz ograničeni kanal, borbu protiv šuma i optimalne metode kodiranja.

Delovi Shannonovog modela komunikacije

• Izvor generira poruku (tekst, glas, video).
• Kodirnik(transmiter) prebacuje poruku u signal.
• Kanal je medij kroz koji signal putuje (žičani, bežični, optički).
• Šum su smetnje koje ometaju signal.
• Dekodirnik(prijemnik) rekonstruira poruku.
• Informacija stiže na Odredište.
• Elektromagnetske smetnje, slaba mreža i gubitak podataka uzrokuju šum..
• Ključno je osigurati točan prijenos informacija unatoč šumu.

Kapacitet komunikacijskog kanala

• Kapacitet kanala je maksimalna količina informacija koja se može prenijeti bez gubitaka.
• Shannonova formula za kapacitet kanala: C = B log2 (1 + S/N),pri čemu je C kapacitet kanala, B širina pojasa, a S/N omjer signala i šuma.
• Veća širina pojasa rezultira većim kapacitetom.
• Bolji omjer signala i šuma rezultira boljim prijenosom. Povećanje šuma smanjuje kapacitet.

Poboljšavanje prijenosa unatoč šumu

• SNR se povećava se jačim signalom i bolja izolacija.
• Korištenje šireg frekvencijskog pojasa (veći B) povećava kapacitet kanala.
• Optika vlakna i 5G mreže se koriste za bolji prijenos.
• Redundantno kodiranje (Hammingov kod, CRC) dodaje viška podataka za korekciju pogrešaka.
• Adaptivno kodiranje prilagođava kodove kvaliteti kanala.
• Algoritmi za otkrivanje i ispravljanje pogrešaka (ECC) ispravljaju greške.

Shannon-Hartleyjev teorem

• Navodi se maksimalna brzina prijenosa informacija kroz širinu pojasa i prisutni šum.
• Matematička formula: C = B log2 (1 + S/N).
• Kapacitet raste s povećanjem širine pojasa (B)
• Ali kapacitet ima ograničenja i nikada ne može biti beskonačan.

Primjena Shannon-Hartleyjevog teorema

• Širina pojasa (B) se povećava u mrežama 4G i 5G za veći prijenos.
• Smanjenje šuma poboljšava stabilnost signala (SNR).
• Optička vlakna koriste visoki SNR za brzi prijenos podataka.
• Wi-Fi od 2.4 ima manji B, bolju penetraciju. Wi-FI od 5 ima veći B.
• Audio i video kodiranje (MP3, MPEG, H.264) optimiziraju prijenos.

Redundancija podataka

• Redundancija je suvišak podataka koji ne doprinosi novoj informaciji, no pomaže u korekciji grešaka.
• Jezik, sigurnosne kopije i kodovi za detekciju grešaka su primjeri.
• Previše redundancije usporava prijenos, a premalo redundancije povećava rizik od gubitka podataka.

Kompresija podataka

• Kompresija je tehnika uklanjanja suvišnih podataka za smanjenje veličine fajla.
• Lossless metode (ZIP, PNG) potpuno rekonstruiraju podatke, dok lossy metode (JPEG, MP3) uklanjaju nebitne detalje.
• Prepoznaju se ponavljajući uzorci i koriste se matematički modeli za kodiranje s manjim brojem bitova.
• Koristi se u : kompresiji slika i videa (JPEG, H.264) i Učinkovitijem prijenosu preko mreža (HTTP).

Sustavi kodiranja

• Kodiranje pretvara podatke u oblik koji omogućava efikasniji prijenos i pohranu.
• Važno , jer omogućuje bržu obradu i prijenos, te smanjuje potreban kapacitet za pohranu.
• Koristi se u kompresiji, prijenosu podataka, kriptografiji i sigurnosti.

Kodovi za detekciju i ispravljanje pogrešaka

• Potrebni su zbog grešaka koje se javljaju u prijenosu podataka(šum).
• Paritetni bitovi se koriste za detekciju pogrešaka.
• Kreira se redudantni kod koji otkriva greške.
• Hammigov kod za ispravlja pogreške.
• Pomaže kod prijenosa podataka i memorijskih susutava.

Primena u digitalnoj komunikaciji

• Teorija informacija je važna za siguran, brz i pouzdan prijenos podataka.
• Digitalna komunikaacija se poboljšava kodiranjem, detekcijom i ispravljanje i kompresijom podataka.
• Mobilne mreže (4G/5G) koriste.

Kriptografske primene

• Teorija informacija je važna za enkripciju i zaštitu podataka.
• Entropija je mjera snage lozinki i ključeva.
• Sigurnosne komunkacije štite podatke.
• Asimetrična enkripcija koristi dva ključa.