2.3.8. Γραμμική Άλγεβρα: Γραμμικά Συστήματα Εξισώσεων

Άλγεβρα Γραμμική και Ανάλυση Πινάκων

Κεφάλαιο 1: Συστήματα Γραμμικών Εξισώσεων

Εισαγωγή

• Το κεφάλαιο καλύπτει τα συστήματα γραμμικών εξισώσεων, ένα βασικό θέμα της γραμμικής άλγεβρας.
• Εξερευνώνται μέθοδοι επίλυσης αυτών των συστημάτων και σχετικές βασικές έννοιες.

Βασικοί Ορισμοί

Γραμμική Εξίσωση

• Γραμμική εξίσωση: $$a_1x_1 + a_2x_2 +... + a_nx_n = b$$
• $x_1, x_2,..., x_n$ είναι οι μεταβλητές.
• $a_1, a_2,..., a_n$ είναι οι συντελεστές.
• $b$ είναι ο σταθερός όρος.

Σύστημα Γραμμικών Εξισώσεων

• Σύστημα γραμμικών εξισώσεων είναι ένα σύνολο γραμμικών εξισώσεων.
• Παράδειγμα: $$ \begin{cases} a_{11}x_1 + a_{12}x_2 +... + a_{1n}x_n = b_1 \ a_{21}x_1 + a_{22}x_2 +... + a_{2n}x_n = b_2 \... \ a_{m1}x_1 + a_{m2}x_2 +... + a_{mn}x_n = b_m \end{cases} $$
• $a_{ij}$ είναι οι συντελεστές.
• $x_j$ είναι οι μεταβλητές.
• $b_i$ είναι οι σταθεροί όροι.

Λύση Συστήματος

• Λύση ενός συστήματος γραμμικών εξισώσεων: ένα σύνολο τιμών για τις μεταβλητές $x_1, x_2,..., x_n$ που ικανοποιούν όλες τις εξισώσεις του συστήματος ταυτόχρονα.

Μέθοδοι Επίλυσης

Μέθοδος Αντικατάστασης

• Εκφράζει μια μεταβλητή συναρτήσει των άλλων από μια εξίσωση.
• Υποκαθιστά την έκφραση στις άλλες εξισώσεις για να μειώσει τον αριθμό των μεταβλητών.

Μέθοδος Απαλοιφής (Γραμμικός Συνδυασμός)

• Πολλαπλασιάζει τις εξισώσεις με σταθερές για να εξαλείψει μεταβλητές κατά την πρόσθεση ή αφαίρεση.

Μέθοδος Πινάκων (Απαλοιφή Gauss)

• Χρησιμοποιεί πίνακες για την αναπαράσταση του συστήματος γραμμικών εξισώσεων.
• Η απαλοιφή Gauss μετατρέπει τον πίνακα σε κλιμακωτή ή ανηγμένη κλιμακωτή μορφή για ευκολότερη επίλυση.

Αναπαράσταση Πινάκων

Πίνακας Συντελεστών

• Ο πίνακας των συντελεστών ενός συστήματος γραμμικών εξισώσεων σχηματίζεται από τους συντελεστές των μεταβλητών.
• Για το σύστημα στο 1.2.2, ο πίνακας των συντελεστών είναι: $$ A = \begin{bmatrix} a_{11} & a_{12} &... & a_{1n} \ a_{21} & a_{22} &... & a_{2n} \... &... &... &... \ a_{m1} & a_{m2} &... & a_{mn} \end{bmatrix} $$

Διάνυσμα Μεταβλητών

• Το διάνυσμα των μεταβλητών είναι ένα διάνυσμα στήλης που περιέχει τις μεταβλητές του συστήματος: $$ X = \begin{bmatrix} x_1 \ x_2 \... \ x_n \end{bmatrix} $$

Διάνυσμα Σταθερών Όρων

• Το διάνυσμα των σταθερών όρων είναι ένα διάνυσμα στήλης που περιέχει τους σταθερούς όρους των εξισώσεων: $$ B = \begin{bmatrix} b_1 \ b_2 \... \ b_m \end{bmatrix} $$

Πινακοειδής Γραφή του Συστήματος

• Το σύστημα γραμμικών εξισώσεων μπορεί να γραφτεί σε πινακοειδή μορφή ως: $$ AX = B $$

Γεωμετρική Ερμηνεία

Περίπτωση Δύο Μεταβλητών

• Κάθε γραμμική εξίσωση αναπαριστά μια ευθεία στο επίπεδο.
• Η λύση του συστήματος είναι η τομή αυτών των ευθειών.
• Αν είναι τεμνόμενες, υπάρχει μοναδική λύση.
• Αν είναι παράλληλες και διακριτές, δεν υπάρχει λύση.
• Αν είναι ταυτόσημες, υπάρχουν άπειρες λύσεις.

Περίπτωση Τριών Μεταβλητών

• Κάθε γραμμική εξίσωση αναπαριστά ένα επίπεδο στον χώρο.
• Η λύση του συστήματος είναι η τομή αυτών των επιπέδων.
• Αν τα επίπεδα τέμνονται σε ένα σημείο, υπάρχει μοναδική λύση.
• Αν τα επίπεδα δεν τέμνονται, δεν υπάρχει λύση.
• Αν τα επίπεδα τέμνονται σε μια γραμμή ή είναι ταυτόσημα, υπάρχουν άπειρες λύσεις.

Συμπέρασμα

• Το κεφάλαιο εισήγαγε τις βασικές έννοιες των συστημάτων γραμμικών εξισώσεων, τις μεθόδους επίλυσης και την πινακοειδή αναπαράσταση.
• Αυτές οι έννοιες είναι απαραίτητες για την κατανόηση και την επίλυση πιο σύνθετων προβλημάτων στην γραμμική άλγεβρα.

Διάλεξη 7: 2 Οκτωβρίου 2023

1. Κατηφορική Κλίση

1.1 Αλγόριθμοι

Κατηφορική Κλίση Δέσμης (Batch)

• $$\theta = \theta - \eta \nabla J(\theta)$$
• $\theta$: παράμετροι μοντέλου
• $\eta$: ρυθμός μάθησης (μέγεθος βήματος)
• $J(\theta)$: συνάρτηση κόστους

Στοχαστική Κατηφορική Κλίση

• $$\theta = \theta - \eta \nabla J_i(\theta)$$

Κατηφορική Κλίση Μίνι-Δέσμης (Mini-Batch)

• $$\theta = \theta - \eta \nabla J_B(\theta)$$
• $B$: μέγεθος δέσμης
• $B = 1$: ίδια με τη στοχαστική κατηφορική κλίση
• $B =$ μέγεθος συνόλου εκπαίδευσης: ίδια με την κατηφορική κλίση δέσμης.
• $1 < B <$ μέγεθος συνόλου εκπαίδευσης

1.2 Ρυθμός Μάθησης

• Πολύ μεγάλος ρυθμός οδηγεί σε υπέρβαση του ελάχιστου.
• Πολύ μικρός ρυθμός οδηγεί σε αργή σύγκλιση ή σε τοπικό ελάχιστο.

1.3 Ορμή (Momentum)

• Συσσωρεύει την κλίση προηγούμενων βημάτων για ενημέρωση παραμέτρων.
• $$V_t = \beta V_{t-1} + \eta \nabla J(\theta)$$
• $$\theta = \theta - V_t$$
• $V_t$: συσσωρευμένη κλίση στο βήμα $t$
• $\beta$: παράμετρος ορμής

1.4 AdaGrad

• Αναθέτει σε κάθε παράμετρο τον δικό της ρυθμό μάθησης.
• $$\theta_i = \theta_i - \frac{\eta}{\sqrt{G_i + \epsilon}} \nabla J(\theta_i)$$
• $G_i = \sum_{t=1}^T (\nabla J(\theta_i))^2$
• $\epsilon$: σταθερός όρος για αποφυγή διαίρεσης με το μηδέν
• $\theta_i$: $i$-οστή παράμετρος.

1.5 Adam

• Συνδυάζει τις ιδέες της ορμής και του AdaGrad.
• $$V_t = \beta_1 V_{t-1} + (1 - \beta_1) \nabla J(\theta)$$
• $$S_t = \beta_2 S_{t-1} + (1 - \beta_2) (\nabla J(\theta))^2$$
• $$\hat{V_t} = \frac{V_t}{1 - \beta_1^t}$$
• $$\hat{S_t} = \frac{S_t}{1 - \beta_2^t}$$
• $$\theta = \theta - \frac{\eta}{\sqrt{\hat{S_t}} + \epsilon} \hat{V_t}$$
• $S_t$: συσσωρευμένο τετράγωνο της κλίσης στο βήμα $t$
• $\beta_1$, $\beta_2$: παράμετροι ορμής
• $\hat{V_t}$, $\hat{S_t}$: διορθωμένες εκτιμήσεις των πρώτων και δεύτερων ροπών των κλίσεων.

2. Αρχικοποίηση Παραμέτρων

2.1 Κίνδυνοι Κακής Αρχικοποίησης

• Ίδιες τιμές: Όλοι οι νευρώνες μαθαίνουν το ίδιο πράγμα.
• Πολύ μεγάλες τιμές: Εκρήξεις κλίσεων, δυσκολία αποφυγής κορεσμού.
• Πολύ μικρές τιμές: Εξαφάνιση κλίσεων.

2.2 Xavier Initialization

• $$\mathcal{N}(0, \sqrt{\frac{2}{n_{in} + n_{out}}}})$$
• $n_{in}$: αριθμός εισόδων στο επίπεδο
• $n_{out}$: αριθμός εξόδων από το επίπεδο

2.3 Kaiming Initialization

• $$\mathcal{N}(0, \sqrt{\frac{2}{n_{in}}}})$$

3. Κανονικοποίηση (Regularization)

3.1 L1 Regularization

• $$J(\theta) + \lambda ||\theta||_1$$

3.2 L2 Regularization

• $$J(\theta) + \lambda ||\theta||_2^2$$

3.3 Απόρριψη (Dropout)

• Τυχαία μηδενισμός κάποιων νευρώνων κατά την εκπαίδευση.

3.4 Επαύξηση Δεδομένων (Data Augmentation)

• Δημιουργία νέων δεδομένων από υπάρχοντα (περιστροφή, αναστροφή, περικοπή εικόνων).

4. Κανονικοποίηση Δέσμης (Batch Normalization)

4.1 Αλγόριθμος

1. Υπολογισμός μέσης τιμής και διακύμανσης της δέσμης:
   • $$\mu_B = \frac{1}{m} \sum_{i = 1}^m x_i$$
   • $$\sigma_B^2 = \frac{1}{m} \sum_{i = 1}^m (x_i - \mu_B)^2$$
2. Κανονικοποίηση της δέσμης:
   • $$\hat{x_i} = \frac{x_i - \mu_B}{\sqrt{\sigma_B^2 + \epsilon}}$$
3. Κλιμάκωση και μετατόπιση:
   • $$y_i = \gamma \hat{x_i} + \beta$$

4.2 Πλεονεκτήματα

• Υψηλότερος ρυθμός μάθησης
• Πιο στιβαρό μοντέλο
• Μειωμένη ανάγκη για άλλες τεχνικές κανονικοποίησης
• Πιο ομαλή επιφάνεια απόφασης

Το κεφάλαιο αυτό καλύπτει διεξοδικά τα γραμμικά συστήματα εξισώσεων, ένα θεμελιώδες θέμα της γραμμικής άλγεβρας. Εξετάζονται μέθοδοι επίλυσης αυτών των συστημάτων καθώς και οι βασικοί ορισμοί και έννοιες που σχετίζονται με αυτά. Παρέχονται παραδείγματα για την κατανόηση των λύσεων και των ιδιοτήτων τους.