Sieci neuronowe i ich charakterystyka
22 Questions
0 Views

Choose a study mode

Play Quiz
Study Flashcards
Spaced Repetition
Chat to lesson

Podcast

Play an AI-generated podcast conversation about this lesson

Questions and Answers

Dlaczego sieci neuronowe są trudniejsze do trenowania niż zwykłe algorytmy?

  • Wymagają więcej mocy obliczeniowej
  • Potrzebują dużo danych
  • Wymagają uważnej normalizacji danych
  • Wszystkie powyższe odpowiedzi (correct)

    • Co to jest wektor i jak definiujemy jego rozmiar?

    Wektor to tablica liczb. Rozmiar wektora to liczba jego elementów (współrzędnych).

    Iloczyn skalarny dwóch wektorów to suma iloczynów odpowiadających im ____________.

    współrzędnych

    Sieci neuronowe radzą sobie dobrze z brakami danych i zmiennymi kategorycznymi.

    <p>False</p> Signup and view all the answers

    Co oznacza, że warstwa jest warstwą gęstą w sieci neuronowej?

    <p>Każdy neuron jest połączony z innymi neuronami</p> Signup and view all the answers

    Warstwa splotowa w sieci neuronowej jest liniowa.

    <p>True</p> Signup and view all the answers

    Splotowa sieć neuronowa zwykle składa się z warstw ________ poprzeplatanych warstwami poolingowymi.

    <p>splotowych</p> Signup and view all the answers

    Co to jest uczenie transferowane?

    <p>Uczenie transferowane to technika polegająca na wykorzystaniu wstępnie wytrenowanych wag z innego modelu do nauki nowego modelu.</p> Signup and view all the answers

    Co to jest celem funkcji aktywacji w sieci neuronowej?

    <p>Złamać liniowość</p> Signup and view all the answers

    Który z następujących problemów dotyczy Sigmoidy?

    <p>Problem znikającego gradientu</p> Signup and view all the answers

    Co oznacza ReLU i dlaczego jest obecnie powszechnie używane?

    <p>Rectified Linear Unit; rozwiązuje problem znikającego gradientu</p> Signup and view all the answers

    Problem znikającego gradientu występował głównie w funkcjach aktywacji takich jak ______.

    <p>Sigmoid</p> Signup and view all the answers

    ReLU rozwiązuje problem znikającego gradientu.

    <p>True</p> Signup and view all the answers

    Co to jest algorytm najszybszego spadku?

    <p>Algorytm najszybszego spadku jest metodą optymalizacji służącą do minimalizacji funkcji poprzez iteracyjne poszukiwanie najlepszego rozwiązania.</p> Signup and view all the answers

    Które podejścia do algorytmów optymalizacji opisane są w tekście? (Zaznacz wszystkie poprawne odpowiedzi)

    <p>Najszybszy spadek</p> Signup and view all the answers

    Na czym polega propagacja gradientu?

    <p>Propagacja gradientu polega na obliczaniu gradientu warstwa po warstwie w sieci neuronowej.</p> Signup and view all the answers

    Dropout jest techniką stosowaną wyłącznie w czasie predykcji.

    <p>False</p> Signup and view all the answers

    W algorytmie najszybszego spadku z regularyzacją L2, krok aktualizacji wag można zapisać jako: w := w - λ⋅∇lreg(w), gdzie ||w||2 oznacza ________ sumę kwadratów wszystkich wag.

    <p>kwadrat</p> Signup and view all the answers

    Która architektura była opisana jako \

    <p>VGG16</p> Signup and view all the answers

    W jaki sposób ResNet różni się od innych architektur?

    <p>False</p> Signup and view all the answers

    Co to jest 'saliency map'?

    <p>Wizualizacja części obrazka istotnych dla sieci neuronowej.</p> Signup and view all the answers

    Czym są 'adversarial attacks'? Z perspektywy ludzkiej to __________ zniekształcenie obrazka.

    <p>nieznaczne</p> Signup and view all the answers

    Study Notes

    Głębokie uczenie maszynowe

    • Głębokie uczenie maszynowe to dziedzina sztucznej inteligencji, która zajmuje się tworzeniem modeli, które potrafią uczyć się z danych
    • W przeciwieństwie do klasycznego uczenia maszynowego, gdzie modele są projektowane przez człowieka, w głębokim uczeniu modele są konstruowane automatycznie na podstawie danych
    • Głębokie uczenie maszynowe jest możliwe dzięki sztucznym sieciom neuronowym

    Sztuczne sieci neuronowe

    • Sztuczne sieci neuronowe to matematyczne przedstawienie sieci neuronowej mózgu
    • Składają się z warstw neuronów, które przetwarzają informacje i przekazują je dalej
    • Neurony w warstwie ukrytej są połączone z neuronami w warstwie wyjściowej
    • Sieci neuronowe mogą być użyte do rozwiązywania różnych problemów, takich jak klasyfikacja, regresja, detekcja obiektów

    Regresja liniowa

    • Regresja liniowa to metoda uczenia maszynowego, która polega na próbie znalezienia funkcji, która najlepiej opisuje zależność między zmiennymi
    • Funkcja regresji liniowej ma postać: y = w^T * x + b, gdzie w jest wektorem wag, x jest wektorem wejścia, a b jest wartością bias
    • Wartość b jest dodawana do funkcji regresji liniowej, aby przesunąć linię regresji w stronę góry lub dołu
    • Regresja liniowa jest stosowana do problemów, gdzie celem jest przewidywanie wartości liczbowej

    Regresja logistyczna

    • Regresja logistyczna to metoda uczenia maszynowego, która polega na próbie znalezienia funkcji, która najlepiej opisuje zależność między zmiennymi
    • Funkcja regresji logistycznej ma postać: y = σ(w^T * x + b), gdzie σ jest funkcją sigmoidalną
    • Regresja logistyczna jest stosowana do problemów, gdzie celem jest przewidywanie wartości logicznej (0 lub 1)

    Sigmoid

    • Sigmoid to funkcja, która przekształca wartość liczbową w wartość z przedziału (0,1)
    • Sigmoid jest stosowany w regresji logistycznej, aby uzyskać wartość prawdopodobieństwa

    Funkcje aktywacji

    • Funkcje aktywacji to funkcje, które są stosowane w sztucznych sieciach neuronowych, aby wprowadzić nieliniowość
    • Najpopularniejszymi funkcjami aktywacji są sigmoid i ReLU
    • Funkcje aktywacji są stosowane w każdej warstwie ukrytej sieci neuronowej

    Trenowanie sieci neuronowej

    • Trenowanie sieci neuronowej to proces minimalizacji funkcji straty, aby uzyskać najlepsze wyniki
    • Funkcja straty jest miarą różnicy pomiędzy wynikami przewidywanymi a prawdziwymi
    • Trenowanie sieci neuronowej jest realizowane za pomocą algorytmu najszybszego spadku, który szuka minimum funkcji straty.Here are the study notes for the text:

    Algorytm Najszybszego Spadku

    • Algorytm najszybszego spadku jest używany do minimalizacji funkcji straty
    • Funkcja straty jest minimalizowana poprzez iteracyjne przesuwanie wagi w kierunku przeciwnym do gradientu

    Minimalizacja Funkcji Straty

    • Minimalizacja funkcji straty jest niezbędna w uczeniu sieci neuronowych
    • Funkcja straty jest różna w zależności od problemu (np. regresja, klasyfikacja)

    Pochodna Funkcji Straty

    • Pochodna funkcji straty jest używana do obliczenia kierunku przesuwania wagi
    • Pochodna funkcji straty jest różna w zależności od użytej funkcji straty

    Gradient Descent Algorithm

    • Algorytm najszybszego spadku jest typu gradient descent
    • Algorytm najszybszego spadku jest używany do minimalizacji funkcji straty

    Metody Trenowania Sieci Neuronowych

    • Metody trenowania sieci neuronowych:
      • Batch gradient descent
      • Stochastic gradient descent
      • Mini-batch gradient descent

    Inicjalizacja Wag Sieci

    • Inicjalizacja wag sieci jest ważna w trenowaniu sieci neuronowych
    • Wag sieci nie powinno inicjalizować zerami, ponieważ sieć nie zacznie się trenować

    Regularyzacja Sieci Neuronowych

    • Regularyzacja sieci neuronowych:
      • Regularyzacja L2
      • Regularyzacja L1
      • Dropout
      • Batch normalization
    • Regularyzacja sieci neuronowych ma na celu zapobieganie przeuczeniu się sieci

    Dropout

    • Dropout jest techniką regularyzacyjną, która polega na losowym wyłączaniu neuronów w czasie treningu
    • Dropout jest używany w warstwach gęstych i splotowych

    Batch Normalization

    • Batch normalization jest technikią regularyzacyjną, która polega na normalizacji wyjść neuronów w czasie treningu
    • Batch normalization jest używany w warstwach gęstych i splotowych

    Data Augmentation

    • Data augmentation jest technikią polegającą na manipulacji danych wejściowych w celu zwiększenia ich różnorodności
    • Data augmentation jest używany w celu zwiększenia skuteczności sieci neuronowych

    Warstwa Gęsta i Sieć Gęsta

    • Warstwa gęsta jest rodzajem warstwy, która łączy każdy neuron z każdym
    • Sieć gęsta jest rodzajem sieci, która składa się z warstw gęstych

    Warstwa Splotowa i Splot

    • Warstwa splotowa jest rodzajem warstwy, która wykonuje splot danych wejściowych
    • Splot jest operacją matematyczną, która polega na przesuwaniu jądra po obrazku

    Splotowa Sieć Neuronowa

    • Splotowa sieć neuronowa jest rodzajem sieci, która składa się z warstw splotowych

    • Splotowa sieć neuronowa jest używana w obrazie i dźwięku### Warstwa Splotowa

    • Warstwa splotowa jest przekształceniem liniowym

    • Warstwa splotowa jest liniowa, więc musimy użyć funkcji aktywacji

    • Warstwa splotowa może być traktowana jako warstwa gęsta, w której te same wagi wiele razy się powtarzają

    • Gradient po wagach liczy się w zasadzie tak, jak dla warstwy gęstej

    Hiperparametry Warstwy Splotowej

    • Liczba filtrów
    • Rozmiar jądra
    • Padding (rozmiar obwódki)
    • Stride (wielkość kroku)

    Jądra Splotu i Wyrazy Wolne

    • Jądra splotu i wyrazy wolne są trenowalne
    • Próbujemy je zoptymalizować tak samo jak dla sieci gęstej
    • Liczba wag nie zależy od rozdzielczości wejścia (dla warstwy gęstej bardzo zależy)

    Warstwa Max-Pooling

    • Służy do zmniejszania rozmiaru
    • Brak parametrów
    • Hiperparametr: wielkość jądra (zwykle 2x2)
    • Gradient równy 1 dla argmax, 0 gdzie indziej

    Splotowa Sieć Neuronowa (CNN)

    • Splotowa sieć neuronowa (ang. convolutional neural network, CNN) to sieć zawierająca warstwy splotowe
    • Zwykle taka sieć ma kilka warstw splotowych poprzeplatanych warstwami poolingowymi, po czym na końcu kilka warstw gęstych
    • Warstwy splotowe zwykle przedstawiamy jako tensory 3-wymiarowe (czyli 4-wymiarowe, jeśli dodajemy wymiar na wielkość wsadu)

    LeNet-5 (1998)

    • Liczba wag:
      • C1 (splot): 156
      • S2 (pool): 0
      • C3 (splot): 2416
      • S4 (pool): 0
      • C5 (splot): 48120
      • F6 (gęsta): 10164
      • wyjściowa: 850
      • Razem: 61706
    • Funkcja aktywacji: 1,7159·tanh(2/3·x)
    • Rozmiar jąder splotu: 5 x 5
    • Brak paddingu

    Uczenie Transferowane

    • Uczenie transferowane (ang. transfer learning)
    • Źródło danych: source

    Przykłady Sieci z Nazwami

    • Głębokie uczenie: gwałtowny rozwój po 2011
    • AlexNet (2012)
    • VGG16 (2014)
    • GoogleNet & Inception (2015)
    • ResNet (2015)

    Explainable AI

    • Głębokie sieci neuronowe są bardzo skuteczne, ale nie jest łatwo odpowiedzieć na pytanie dlaczego sieć neuronowa mówi to, co mówi
    • Na co sieć zwraca uwagę: saliency map, activation maximization, adversarial attacks

    Studying That Suits You

    Use AI to generate personalized quizzes and flashcards to suit your learning preferences.

    Quiz Team

    Description

    Test wiedzy o sieciach neuronowych, ich trenowaniu, wektorach i iloczynie skalarnym, a także warstwach w sieciach neuronowych.

    More Like This

    Use Quizgecko on...
    Browser
    Open
    Browser
    Browser