Axborotni o'lchash

• Axborotni o'lchash aloqa sohasida va axborot nazariyasida muhim rol o'ynaydi.
• Axborotni o'lchashdan maqsad xabar noaniqligini qanchalik kamaytirishini aniqlashdan iborat.

Axborot birliklari

• Bit: Axborotning eng asosiy birligi bo'lib, 0 yoki 1 qiymatni ifodalaydi.
• Bayt: Ko'pincha 8 bitdan tashkil topgan bo'lib, raqamlar, belgilar va boshqa ma'lumotlarni saqlash uchun zarur.
• Kilobayt (KB) 1024 baytga tengdir.
• Megabayt (MB) 1024 kilobaytni tashkil etadi.
• Gigabayt (GB) 1024 megabaytdan iborat.
• Terabayt (TB) 1024 gigabaytga teng.

Entropiya

• Entropiya bu axborot miqdorini o'lchash uchun qo'llaniladigan matematik usul.
• Xabar yoki hodisaning noaniqlik darajasini ko'rsatadi.
• Qanchalik entropiya yuqori bo'lsa, axborot shuncha ko'p bo'ladi.

Entropiyani hisoblash formulasi

• H(X) = - Σ P(x) log₂ P(x)
  • Bu yerda:
    • H(X) X tasodifiy o'zgaruvchining entropiyasi
    • P(x) x hodisasining ehtimoli
    • Σ barcha hodisalar bo'yicha yig'indi
    • log₂ 2 asosga ko'ra logarifm

Misol

• Agar tanga tashlansa, gerb yoki raqam tushishi ehtimoli 0.5 ga teng.
• Entropiya quyidagicha hisoblanadi: H(X) = - (0.5 * log₂(0.5) + 0.5 * log₂(0.5)) = 1 bit
• Tanga tashlash orqali olingan axborot 1 bitga teng.

Shartli entropiya

• Bir o'zgaruvchining qiymati orqali ikkinchi o'zgaruvchining noaniqligini o'lchaydi.
• H(Y|X) X o'zgaruvchi ma'lum bo'lganda, Y o'zgaruvchining shartli entropiyasi.

O'zaro axborot (Mutual Information)

• Ikki o'zgaruvchi orasidagi bog'liqlikni o'lchaydi.
• Bir o'zgaruvchini bilish orqali ikkinchi o'zgaruvchi haqida ma'lumot olish imkonini beradi.
• I(X; Y) = H(X) - H(X|Y)
  • Bu yerda:
    • I(X; Y) X va Y o'zgaruvchilar orasidagi o'zaro axborot
    • H(X) X o'zgaruvchining entropiyasi
    • H(X|Y) Y o'zgaruvchi ma'lum bo'lganda, X o'zgaruvchining shartli entropiyasi

Axborotni kodlash

• Axborotni samarali kodlash uni siqish va uzatish uchun juda muhim.
• Kodlash algoritmlari axborotni kam bitlar orqali ifodalaydi.
• Huffman va Shannon-Fano kodlash usullari keng tarqalgan.

Axborotni siqish

• Axborotni siqish jarayoni uni saqlash va uzatish uchun kerak bo'ladigan hajmni kamaytiradi.
• Yo'qotishsiz (lossless) va yo'qotish bilan (lossy) siqish turlari mavjud.
• Yo'qotishsiz siqishda ma'lumot to'liq saqlansa, yo'qotish bilan siqishda ma'lumotning bir qismi yo'qolishi mumkin.

Axborot nazariyasining qo'llanilishi

• Aloqa: Axborotni samarali uzatish va qabul qilish.
• Siqish: Ma'lumotlarni saqlash va uzatish uchun hajmini kamaytirish.
• Kriptografiya: Axborotni himoya qilish.
• Mashinalarni o'qitish: Ma'lumotlardan o'rganish va qaror qabul qilish.
• Statistika: Ma'lumotlarni tahlil qilish va xulosalar chiqarish.

Xulosa

• Axborotni o'lchash axborot nazariyasida muhim ahamiyatga ega va ko'plab sohalarda qo'llaniladi.
• Entropiya, shartli entropiya va o'zaro axborot kabi tushunchalar axborot miqdorini baholash va bog'liqlikni aniqlashga yordam beradi.
• Axborotni samarali kodlash va siqish axborotni uzatish hamda saqlashda muhim rol o'ynaydi.

Axborotni o'lchash axborot nazariyasi va aloqa sohasida qo'llaniladi. Axborot birliklari bit, bayt, kilobayt, megabayt, gigabayt va terabaytlar hisoblanadi. Entropiya xabar yoki hodisaning noaniqlik darajasini ifodalaydi.