سعة القناة في نظرية المعلومات

• تتناول المحاضرة مفهوم "سعة القناة" في نظرية المعلومات، والتي تجيب على سؤال أساسي: ما هي كمية المعلومات التي يمكن إرسالها بشكل موثوق عبر قناة معينة؟

تعريف سعة القناة

• يتم تعريف سعة قناة المعلومات لقناة منفصلة عديمة الذاكرة على أنها $C = max_{p(x)} I(X; Y)$، حيث $p(x)$ هو توزيع الإدخال.
• $I(X; Y)$ هي المعلومات المتبادلة بين مدخل القناة $X$ ومخرج القناة $Y$.
• الهدف هو تعظيم كل توزيعات الإدخال المحتملة $p(x)$.
• سعة القناة $C$ هي الحد الأقصى لمعدل نقل المعلومات بشكل موثوق عبر القناة.

خصائص سعة القناة

• سعة القناة هي خاصية للقناة وحدها.
• سعة القناة هي المعدل الذي يمكن تحقيقه.
• سعة القناة هي الحد الأعلى لمعدل الاتصال الموثوق به عبر القناة.
• $0 \leq C \leq min(log |X|, log |Y|)$
  • $C = 0$ إذا كان الإدخال $X$ والإخراج $Y$ مستقلين.
  • $C = log |X|$ إذا كانت القناة خالية من الضوضاء.

القناة المتماثلة (Symmetric Channel)

• توصف القناة بأنها متماثلة إذا كانت صفوف مصفوفة انتقال القناة $p(y|x)$ عبارة عن تباديل لبعضها البعض والأعمدة عبارة عن تباديل لبعضها البعض.
• بالنسبة للقنوات المتماثلة، يتم تحقيق السعة من خلال توزيع موحد على حروف الإدخال.

سعة القناة المتماثلة

• إذا كانت القناة متماثلة، فإن: $C = log |Y| - H(row of transition matrix)$

مثال: قناة ثنائية متماثلة (BSC)

• بالنسبة لقناة ثنائية متماثلة (BSC) مع احتمال تجاوز $p$.
• مصفوفة انتقال القناة هي: $p(y|x) = \begin{bmatrix}1-p & p \p & 1-p \end{bmatrix}$

سعة قناة ثنائية متماثلة (BSC)

• سعة قناة BSC ذات الاحتمالية المتقاطعة p هي: $C = 1 - H(p) = 1 + p log p + (1 - p)log(1 - p)$

مثال: قناة المحو الثنائية (BEC)

• النظر في قناة المحو الثنائية (BEC) مع احتمال المحو p.

سعة قناة المحو الثنائية (BEC)

• سعة قناة BEC ذات الاحتمالية p هي: $C = 1 - p$

قناة الضوضاء البيضاء الغاوسية المضافة (AWGN)

• النموذج الشائع لقنوات الاتصال هو قناة الضوضاء البيضاء الغاوسية المضافة (AWGN).
• الإخراج Y هو مجموع الإدخال X والضوضاء Z، أي: $Y = X + Z$، حيث Z متغير عشوائي غاوسي بمتوسط ​​صفر وتباين N، أي Z ~ N(0, N).
• الإشارة X لها قيد الطاقة P، أي $E[X^2] \leq P$.

سعة قناة AWGN

• سعة قناة AWGN ذات قدرة الإشارة P وقدرة الضوضاء N هي: $C = \frac{1}{2} log (1 + \frac{P}{N})$ بت لكل إرسال
• $P/N$ هي نسبة الإشارة إلى الضوضاء (SNR).
• مع زيادة SNR، تزداد سعة قناة AWGN.

نظرية شانون-هارتلي

• تنص نظرية شانون-هارتلي على أن الحد الأقصى للمعدل الذي يمكن به نقل المعلومات بشكل موثوق عبر قناة AWGN ذات عرض نطاق ترددي B وطاقة إشارة P وطاقة ضوضاء N هو: $C = B log_2(1 + \frac{P}{N})$ بت في الثانية

آثار نظرية شانون-هارتلي

• سعة قناة الاتصال تتناسب مع عرض النطاق الترددي الخاص بها.
• تزداد سعة قناة الاتصال مع نسبة الإشارة إلى الضوضاء (SNR).
• حتى مع وجود عرض نطاق ترددي لانهائي، فإن سعة قناة الاتصال محدودة بقدرة الضوضاء.