Sieci neuronowe i ich charakterystyka

Głębokie uczenie maszynowe

• Głębokie uczenie maszynowe to dziedzina sztucznej inteligencji, która zajmuje się tworzeniem modeli, które potrafią uczyć się z danych
• W przeciwieństwie do klasycznego uczenia maszynowego, gdzie modele są projektowane przez człowieka, w głębokim uczeniu modele są konstruowane automatycznie na podstawie danych
• Głębokie uczenie maszynowe jest możliwe dzięki sztucznym sieciom neuronowym

Sztuczne sieci neuronowe

• Sztuczne sieci neuronowe to matematyczne przedstawienie sieci neuronowej mózgu
• Składają się z warstw neuronów, które przetwarzają informacje i przekazują je dalej
• Neurony w warstwie ukrytej są połączone z neuronami w warstwie wyjściowej
• Sieci neuronowe mogą być użyte do rozwiązywania różnych problemów, takich jak klasyfikacja, regresja, detekcja obiektów

Regresja liniowa

• Regresja liniowa to metoda uczenia maszynowego, która polega na próbie znalezienia funkcji, która najlepiej opisuje zależność między zmiennymi
• Funkcja regresji liniowej ma postać: y = w^T * x + b, gdzie w jest wektorem wag, x jest wektorem wejścia, a b jest wartością bias
• Wartość b jest dodawana do funkcji regresji liniowej, aby przesunąć linię regresji w stronę góry lub dołu
• Regresja liniowa jest stosowana do problemów, gdzie celem jest przewidywanie wartości liczbowej

Regresja logistyczna

• Regresja logistyczna to metoda uczenia maszynowego, która polega na próbie znalezienia funkcji, która najlepiej opisuje zależność między zmiennymi
• Funkcja regresji logistycznej ma postać: y = σ(w^T * x + b), gdzie σ jest funkcją sigmoidalną
• Regresja logistyczna jest stosowana do problemów, gdzie celem jest przewidywanie wartości logicznej (0 lub 1)

Sigmoid

• Sigmoid to funkcja, która przekształca wartość liczbową w wartość z przedziału (0,1)
• Sigmoid jest stosowany w regresji logistycznej, aby uzyskać wartość prawdopodobieństwa

Funkcje aktywacji

• Funkcje aktywacji to funkcje, które są stosowane w sztucznych sieciach neuronowych, aby wprowadzić nieliniowość
• Najpopularniejszymi funkcjami aktywacji są sigmoid i ReLU
• Funkcje aktywacji są stosowane w każdej warstwie ukrytej sieci neuronowej

Trenowanie sieci neuronowej

• Trenowanie sieci neuronowej to proces minimalizacji funkcji straty, aby uzyskać najlepsze wyniki
• Funkcja straty jest miarą różnicy pomiędzy wynikami przewidywanymi a prawdziwymi
• Trenowanie sieci neuronowej jest realizowane za pomocą algorytmu najszybszego spadku, który szuka minimum funkcji straty.Here are the study notes for the text:

Algorytm Najszybszego Spadku

• Algorytm najszybszego spadku jest używany do minimalizacji funkcji straty
• Funkcja straty jest minimalizowana poprzez iteracyjne przesuwanie wagi w kierunku przeciwnym do gradientu

Minimalizacja Funkcji Straty

• Minimalizacja funkcji straty jest niezbędna w uczeniu sieci neuronowych
• Funkcja straty jest różna w zależności od problemu (np. regresja, klasyfikacja)

Pochodna Funkcji Straty

• Pochodna funkcji straty jest używana do obliczenia kierunku przesuwania wagi
• Pochodna funkcji straty jest różna w zależności od użytej funkcji straty

Gradient Descent Algorithm

• Algorytm najszybszego spadku jest typu gradient descent
• Algorytm najszybszego spadku jest używany do minimalizacji funkcji straty

Metody Trenowania Sieci Neuronowych

• Metody trenowania sieci neuronowych:
  • Batch gradient descent
  • Stochastic gradient descent
  • Mini-batch gradient descent

Inicjalizacja Wag Sieci

• Inicjalizacja wag sieci jest ważna w trenowaniu sieci neuronowych
• Wag sieci nie powinno inicjalizować zerami, ponieważ sieć nie zacznie się trenować

Regularyzacja Sieci Neuronowych

• Regularyzacja sieci neuronowych:
  • Regularyzacja L2
  • Regularyzacja L1
  • Dropout
  • Batch normalization
• Regularyzacja sieci neuronowych ma na celu zapobieganie przeuczeniu się sieci

Dropout

• Dropout jest techniką regularyzacyjną, która polega na losowym wyłączaniu neuronów w czasie treningu
• Dropout jest używany w warstwach gęstych i splotowych

Batch Normalization

• Batch normalization jest technikią regularyzacyjną, która polega na normalizacji wyjść neuronów w czasie treningu
• Batch normalization jest używany w warstwach gęstych i splotowych

Data Augmentation

• Data augmentation jest technikią polegającą na manipulacji danych wejściowych w celu zwiększenia ich różnorodności
• Data augmentation jest używany w celu zwiększenia skuteczności sieci neuronowych

Warstwa Gęsta i Sieć Gęsta

• Warstwa gęsta jest rodzajem warstwy, która łączy każdy neuron z każdym
• Sieć gęsta jest rodzajem sieci, która składa się z warstw gęstych

Warstwa Splotowa i Splot

• Warstwa splotowa jest rodzajem warstwy, która wykonuje splot danych wejściowych
• Splot jest operacją matematyczną, która polega na przesuwaniu jądra po obrazku

Splotowa Sieć Neuronowa

• Splotowa sieć neuronowa jest rodzajem sieci, która składa się z warstw splotowych

• Splotowa sieć neuronowa jest używana w obrazie i dźwięku### Warstwa Splotowa

• Warstwa splotowa jest przekształceniem liniowym

• Warstwa splotowa jest liniowa, więc musimy użyć funkcji aktywacji

• Warstwa splotowa może być traktowana jako warstwa gęsta, w której te same wagi wiele razy się powtarzają

• Gradient po wagach liczy się w zasadzie tak, jak dla warstwy gęstej

Hiperparametry Warstwy Splotowej

• Liczba filtrów
• Rozmiar jądra
• Padding (rozmiar obwódki)
• Stride (wielkość kroku)

Jądra Splotu i Wyrazy Wolne

• Jądra splotu i wyrazy wolne są trenowalne
• Próbujemy je zoptymalizować tak samo jak dla sieci gęstej
• Liczba wag nie zależy od rozdzielczości wejścia (dla warstwy gęstej bardzo zależy)

Warstwa Max-Pooling

• Służy do zmniejszania rozmiaru
• Brak parametrów
• Hiperparametr: wielkość jądra (zwykle 2x2)
• Gradient równy 1 dla argmax, 0 gdzie indziej

Splotowa Sieć Neuronowa (CNN)

• Splotowa sieć neuronowa (ang. convolutional neural network, CNN) to sieć zawierająca warstwy splotowe
• Zwykle taka sieć ma kilka warstw splotowych poprzeplatanych warstwami poolingowymi, po czym na końcu kilka warstw gęstych
• Warstwy splotowe zwykle przedstawiamy jako tensory 3-wymiarowe (czyli 4-wymiarowe, jeśli dodajemy wymiar na wielkość wsadu)

LeNet-5 (1998)

• Liczba wag:
  • C1 (splot): 156
  • S2 (pool): 0
  • C3 (splot): 2416
  • S4 (pool): 0
  • C5 (splot): 48120
  • F6 (gęsta): 10164
  • wyjściowa: 850
  • Razem: 61706
• Funkcja aktywacji: 1,7159·tanh(2/3·x)
• Rozmiar jąder splotu: 5 x 5
• Brak paddingu

Uczenie Transferowane

• Uczenie transferowane (ang. transfer learning)
• Źródło danych: source

Przykłady Sieci z Nazwami

• Głębokie uczenie: gwałtowny rozwój po 2011
• AlexNet (2012)
• VGG16 (2014)
• GoogleNet & Inception (2015)
• ResNet (2015)

Explainable AI

• Głębokie sieci neuronowe są bardzo skuteczne, ale nie jest łatwo odpowiedzieć na pytanie dlaczego sieć neuronowa mówi to, co mówi
• Na co sieć zwraca uwagę: saliency map, activation maximization, adversarial attacks