الجبر الخطي لتعلم الآلة

• هذه ملاحظات دراسية حول الجبر الخطي في سياق تعلم الآلة

المتجهات

التعريف

• المتجه هو جدول أحادي البعد من الأرقام
• في التدوين الرياضي، يتم تمثيل المتجه v المكون من n عنصر على النحو التالي:
• $v = \begin{bmatrix} v_1 \ v_2 \ \vdots \ v_n \end{bmatrix}$

العمليات الأساسية

• جمع المتجهات:
• $\begin{bmatrix} a_1 \ a_2 \end{bmatrix} + \begin{bmatrix} b_1 \ b_2 \end{bmatrix} = \begin{bmatrix} a_1 + b_1 \ a_2 + b_2 \end{bmatrix}$
• الضرب القياسي:
• $c \begin{bmatrix} a_1 \ a_2 \end{bmatrix} = \begin{bmatrix} ca_1 \ ca_2 \end{bmatrix}$
• الناتج القياسي (الضرب النقطي):
• $\begin{bmatrix} a_1 \ a_2 \end{bmatrix} \cdot \begin{bmatrix} b_1 \ b_2 \end{bmatrix} = a_1b_1 + a_2b_2$

معيار المتجه

• يتم تعريف معيار المتجه، وغالبًا معيار L2 (أو الإقليدي)، على النحو التالي:
• $|v| = \sqrt{v_1^2 + v_2^2 + \dots + v_n^2}$

المصفوفات

التعريف

• المصفوفة عبارة عن جدول ثنائي الأبعاد من الأرقام، مرتبة في صفوف وأعمدة
• يتم تمثيل المصفوفة A ذات الأبعاد m × n على النحو التالي:
• $A = \begin{bmatrix} a_{11} & a_{12} & \dots & a_{1n} \ a_{21} & a_{22} & \dots & a_{2n} \ \vdots & \vdots & \ddots & \vdots \ a_{m1} & a_{m2} & \dots & a_{mn} \end{bmatrix}$

العمليات الأساسية

• جمع المصفوفات:
• $\begin{bmatrix} a_{11} & a_{12} \ a_{21} & a_{22} \end{bmatrix} + \begin{bmatrix} b_{11} & b_{12} \ b_{21} & b_{22} \end{bmatrix} = \begin{bmatrix} a_{11} + b_{11} & a_{12} + b_{12} \ a_{21} + b_{21} & a_{22} + b_{22} \end{bmatrix}$
• الضرب القياسي:
• $c \begin{bmatrix} a_{11} & a_{12} \ a_{21} & a_{22} \end{bmatrix} = \begin{bmatrix} ca_{11} & ca_{12} \ ca_{21} & ca_{22} \end{bmatrix}$
• ضرب المصفوفات:
• إذا كانت A مصفوفة m × n وB مصفوفة n × p، فإن حاصل الضرب C = AB هو مصفوفة m × p حيث:
• $c_{ij} = \sum_{k=1}^{n} a_{ik}b_{kj}$
• مثال:
• $\begin{bmatrix} a_{11} & a_{12} \ a_{21} & a_{22} \end{bmatrix} \begin{bmatrix} b_{11} & b_{12} \ b_{21} & b_{22} \end{bmatrix} = \begin{bmatrix} a_{11}b_{11} + a_{12}b_{21} & a_{11}b_{12} + a_{12}b_{22} \ a_{21}b_{11} + a_{22}b_{21} & a_{21}b_{12} + a_{22}b_{22} \end{bmatrix}$

تبديل المصفوفة

• يتم الحصول على تبديل المصفوفة A، والمشار إليها بـ $A^T$، عن طريق تبديل صفوف وأعمدة A:
• إذا $A = \begin{bmatrix} a_{11} & a_{12} \ a_{21} & a_{22} \end{bmatrix}$، إذن $A^T = \begin{bmatrix} a_{11} & a_{21} \ a_{12} & a_{22} \end{bmatrix}$

مصفوفة الهوية

• مصفوفة الهوية I هي مصفوفة مربعة بها 1 على القطر الرئيسي و0 في كل مكان آخر:
• $I = \begin{bmatrix} 1 & 0 \ 0 & 1 \end{bmatrix}$
• بالنسبة للمصفوفة A، $AI = IA = A$

عكس المصفوفة

• معكوس المصفوفة المربعة A، والمشار إليه بـ $A^{-1}$، هو:
• $AA^{-1} = A^{-1}A = I$

تطبيقات في تعلم الآلة

تمثيل البيانات

• غالبًا ما يتم تمثيل مجموعات البيانات في شكل مصفوفات، حيث يمثل كل صف ملاحظة ويمثل كل عمود سمة (ميزة).

التحويلات الخطية

• يمكن التعبير عن التحويلات الخطية، مثل التدوير والقياس والترجمة، باستخدام المصفوفات.

تقليل الأبعاد

• تستخدم تقنيات مثل تحليل المكونات الرئيسية (ACP) الجبر الخطي لتقليل أبعاد البيانات مع الحفاظ على المعلومات المهمة.

حل أنظمة المعادلات الخطية

• تتطلب العديد من خوارزميات تعلم الآلة، مثل الانحدار الخطي، حل أنظمة المعادلات الخطية، مما يستدعي مفاهيم الجبر الخطي مثل عكس المصفوفات.

مثال: الانحدار الخطي

• في الانحدار الخطي، نسعى إلى إيجاد المعاملات التي تقلل الخطأ بين تنبؤات النموذج والقيم الحقيقية
• يمكن صياغة ذلك على النحو التالي:
• $X\beta = y$
• حيث X هي مصفوفة المميزات، β هي متجه المعاملات، وy هي متجه القيم المستهدفة
• يتم إعطاء الحل لـ β بواسطة:
• $\beta = (X^T X)^{-1} X^T y$