Sztuczna Inteligencja w Bioinżynierii 2024/2025 PDF

Sztuczna Inteligencja w Bioinżynierii Materiały do wyłącznego użytku przez studentów kursu dr inż. Michał Smolnicki  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Informacje praktyczne Kontakt: [email protected] Konsultacje: B1, pokój...

Sztuczna Inteligencja w Bioinżynierii Materiały do wyłącznego użytku przez studentów kursu dr inż. Michał Smolnicki  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Informacje praktyczne Kontakt: [email protected] Konsultacje: B1, pokój 605 (lewa strona), wtorek 7:00 – 8:00 Materiały do zajęć: kurs na eportalu, prezentacja będzie udostępniona w takiej formie jak będzie prezentowana na zajęciach Zajęcia składają się z wykładu i seminarium (oceniane osobno) Zasady zaliczenia: Kolokwium zaliczeniowe na ostatnich zajęciach z standardową skalą ocen (3.0 od 50%, 3.5 od 60%, … , 5.0 od 90%). Kolokwium będzie bazowało na informacjach podanych na zajęciach. Zasady zaliczenia seminarium ustalimy na seminarium. 2 Wykład 1 - Wprowadzenie  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Czym jest sztuczna inteligencja? 4  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Czym jest sztuczna inteligencja? 5  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Czym jest sztuczna inteligencja? 6 7  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Czym jest sztuczna inteligencja? “[…] the science and technology of creating intelligent machines, especially intelligent computer programs” “For the present purpose the artificial intelligence problem is taken to be that of making a machine behave in ways that would be called intelligent if a human were so behaving.” John McCarthy (1927 – 2011) 8  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Czym jest sztuczna inteligencja? dziedzina nauki zajmująca się badaniem mechanizmów ludzkiej inteligencji (psychol.) oraz modelowaniem i konstruowaniem systemów, które są w stanie wspomagać lub zastępować inteligentne działania człowieka. próbuje się definiować jako dziedzinę wiedzy obejmującą m.in. sieci neuronowe, robotykę i tworzenie modeli zachowań inteligentnych oraz programów komputerowych symulujących te zachowania, włączając w to również uczenie maszynowe, głębokie uczenie oraz uczenie wzmocnione. 9  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Czym jest sztuczna inteligencja? 10  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Idea uczenia maszynowego w mechanice 11 Guo, Artificial intelligence and machine learning in design of mechanical materials, 20  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Wzrost znaczenia uczenia maszynowego w mechanice 12  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Czym jest sztuczna inteligencja? 13  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Czym jest sztuczna inteligencja? 14  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Co to jest? 15  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Jak nauczyć komputer rozróżniać psa od kota? 16  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Jak nauczyć komputer rozróżniać psa od kota? 17  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Jak nauczyć komputer rozróżniać psa od kota? 18  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Jakie wydatki byłyby dla dochodów 350? 19  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Uczenie nadzorowane Uczenie nadzorowane, do uczenia algorytmów wykorzystuje zbiory danych z etykietami, które umożliwiają dokładne klasyfikowanie danych (klasyfikacja) lub przewidywanie wyników (regresja). W miarę jak dane wejściowe są wprowadzane do modelu, koryguje on swoje wagi do czasu, aż model zostanie odpowiednio dopasowany. 20  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Uczenie nadzorowane Uczenie nadzorowane, do uczenia algorytmów wykorzystuje zbiory danych z etykietami, które umożliwiają dokładne klasyfikowanie danych (klasyfikacja) lub przewidywanie wyników (regresja). W miarę jak dane wejściowe są wprowadzane do modelu, koryguje on swoje wagi do czasu, aż model zostanie odpowiednio dopasowany. 21  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Uczenie nadzorowane Uczenie nadzorowane, do uczenia algorytmów wykorzystuje zbiory danych z etykietami, które umożliwiają dokładne klasyfikowanie danych (klasyfikacja) lub przewidywanie wyników (regresja). W miarę jak dane wejściowe są wprowadzane do modelu, koryguje on swoje wagi do czasu, aż model zostanie odpowiednio dopasowany. 22  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Uczenie nadzorowane - regresja Przykłady algorytmów uczenia nadzorowanego rozwiązujący problem regresji: regresja liniowa regresja wielomianowa drzewo regresyjne sieci neuronowe 23  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Uczenie nadzorowane - klasyfikacja Przykłady algorytmów uczenia nadzorowanego rozwiązujący problem klasyfikacji: drzewa decyzyjne regresja logistyczna metoda k-najbliższych sieci neuronowe sąsiadów naiwny klasyfikator maszyny wektorów Bayesa nośnych (SVM) las losowy 24  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Uczenie nadzorowane – przykład datasetów FMNIST MNIST 25  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Uczenie nadzorowane – przykład datasetów “If the algorithm cannot work with MNIST, the algorithm will not work for other data sets. If the algorithm works with MNIST, a good start, but that does not mean it can work for other data sets” 26  Sztuczna Inteligencja w Bioinżynierii 2024/2025 27  Sztuczna Inteligencja w Bioinżynierii 2024/2025 K-najbliższych sąsiadów 28  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Uczenie nienadzorowane nie dostarczamy żadnych odpowiedzi, tylko zestaw danych Na przykład dostarczamy zdjęcia różnych kwiatków, ale nie mamy na ich temat żadnych więcej informacji. Oczekujemy, że zostaną podzielone na jakieś grupy i każde nowe zdjęcie trafi do grupy, gdzie znajdują się kwiatki do niego podobne. 29  Sztuczna Inteligencja w Bioinżynierii 2024/2025 \ 30  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Klastrowanie danych – algorytm k-średnich 31  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Uczenie nienadzorowane Algorytmy uczenia nienadzorowanego starają się na podstawie zbioru danych wykryć zasady, opisać wzory czy pogrupować punkty danych zgromadzone w zbiorze danych. Ich celem jest przybliżyć zbiór danych użytkownikom 32  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Uczenie nadzorowane - regresja Przykłady algorytmów uczenia nadzorowanego do analizy skupień: metoda k-średnich hierarchiczna analiza skupień DBSCAN ( density-based spatial clustering of applications with noise) 33  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Uczenie nadzorowane - regresja Przykłady algorytmów uczenia nadzorowanego do wykrywania anomalii i nowości: jednoklasowa maszyna wektorów nośnych 34  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Uczenie nadzorowane - regresja Przykłady algorytmów uczenia nadzorowanego do wizualizacji i redukcji wymiarowości: analiza głównych składowych (PCA – ang. principal component analysis) jądrowa analiza głównych składowych 35  Sztuczna Inteligencja w Bioinżynierii 2024/2025 36  Sztuczna Inteligencja w Bioinżynierii 2024/2025 37  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Uczenie przez wzmacnianie W uczeniu przez wzmacnianie nie przygotowuje się zestawu danych uczących, tylko środowisko, z którego model będzie zbierał dane automatycznie. Jego celem jest zmaksymalizowanie zwracanej przez nie „nagrody”. 38  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Pozostałe rodzaje uczenia maszynowego Uczenie półnadzorowane (ang. semisupervised learning) – algorytmy działające na częściowo oznakowanych danych. W procesie uczenia przyrostowego (ang. online learning) system jest trenowany na bieżąco poprzez sekwencyjne dostarczanie danych. Przeciwieństwo uczenia wsadowego (klasyczne podejście) 39  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Przydatne pojęcia – do nauki/powtórzenia Zbiór danych Wariancja Typy danych Rozkład danych Średnia Zbiór treningowy/Zbiór Mediana testowy Moda (dominanta) Zmienne kategoryczne Odchylenie i ciągłe standardowe 40  Sztuczna Inteligencja w Bioinżynierii 2024/2025 41 Wykład 2 – Regresja Liniowa https://doi.org/10.1101/2020.03.05.978965, CC BY-NC-ND 4.0  Sztuczna Inteligencja w Bioinżynierii 2024/2025 punkty danych zmienna zależna linia regresji zmienna niezależna 43  Sztuczna Inteligencja w Bioinżynierii 2024/2025 punkty danych objaśniana linia regresji zmienna zmienna objaśniająca 44  Sztuczna Inteligencja w Bioinżynierii 2024/2025 45  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Regresja liniowa jako algorytm uczenia maszynowego uczenie nadzorowane prosta do wyjaśnienia i użycia dobrze znane wady i zalety model znajduje najlepiej dopasowaną prostą objaśniającą zależność między zmienną niezależną i zależną 46  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Prosta regresja liniowa (simple regression) współczynnik Punkt przecięcia z kierunkowy prostej osią OY slope intercept 𝑦 =𝑚∙𝑥+𝑏 47  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Overfitting (nadmierne dopasowanie) 48  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Overfitting (nadmierne dopasowanie) 49  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Overfitting (nadmierne dopasowanie) 50  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Brzytwa Ockhama “Entia non sunt multiplicanda praeter necessitatem” William Ockham (1285 – 1347) 51  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Brzytwa Ockhama “Entia non sunt multiplicanda praeter necessitatem” “Nie należy mnożyć bytów ponad potrzebę” William Ockham (1285 – 1347) 52  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Regresja liniowa wieloraka (multilinear regression) 𝑦 = 𝑚1 ∙ 𝑥1 + 𝑚2 ∙ 𝑥2 + … + 𝑚𝑛 ∙ 𝑥𝑛 + 𝑏 53  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Prosta regresja liniowa (simple regression) współczynnik Punkt przecięcia z kierunkowy prostej osią OY slope intercept 𝑦 =𝑚∙𝑥+𝑏 w szczególnym przypadku może przyjmować wartość 0 54  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Współczynnik determinacji 𝑅 2 2 𝑆𝑆𝑟𝑒𝑠 = ෍ 𝑦𝑖 − 𝑦𝑝𝑟𝑒𝑑𝑖 𝑖 𝑆𝑆𝑡𝑜𝑡 = ෍ 𝑦𝑖 − 𝑦ത 2 𝑖 𝑆𝑆𝑟𝑒𝑠 𝑅2 =1 − 𝑆𝑆𝑡𝑜𝑡 niewyjaśniona wariancja 𝑅2 = 1 − 𝐹𝑉𝑈 55  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Współczynnik determinacji 𝑅 2 bezwymiarowy 𝑅2 = 0 → 𝑙𝑜𝑠𝑜𝑤𝑎 𝑝𝑟𝑒𝑑𝑦𝑘𝑐𝑗𝑎 𝑅2 = 1 → 𝑖𝑑𝑒𝑎𝑙𝑛𝑖𝑒 𝑝𝑟𝑒𝑑𝑦𝑘𝑡𝑦𝑤𝑛𝑦 𝑚𝑜𝑑𝑒𝑙 https://ocw.mit.edu/courses/sloan-school-of-management/15-071-the-analytics-edge-spring-2017/linear- 56 regression/the-statistical-sommelier-an-introduction-to-linear-regression/quick-question-54/  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Wymagania dla stosowania regresji liniowej relacja pomiędzy zmienną niezależną a zależną powinna mieć charakter liniowy dane wejściowe nie powinny być zbyt zaszumione korzystny jest rozkład normalny danych wejściowych i wyjściowych wstępne skalowanie wejścia (standaryzacja lub normalizacja) 57  Sztuczna Inteligencja w Bioinżynierii 2024/2025 normalizacja vs standaryzacja 𝑋 − min 𝑋 𝑋 − 𝑋ത 𝑋𝑛𝑒𝑤 = 𝑋𝑛𝑒𝑤 = max 𝑋 − min(𝑋) 𝑆𝐷(𝑋) Minimum and maximum value of features are used for scaling Mean and standard deviation is used for scaling. It is used when we want to ensure zero mean and unit standard It is used when features are of different scales. deviation. Scales values between [0, 1] or [-1, 1]. It is not bounded to a certain range. It is really affected by outliers. It is much less affected by outliers. Scikit-Learn provides a transformer called MinMaxScaler for Scikit-Learn provides a transformer called StandardScaler for Normalization. standardization. This transformation squishes the n-dimensional data into an n- It translates the data to the mean vector of original data to the dimensional unit hypercube. origin and squishes or expands. It is useful when we don’t know about the distribution It is useful when the feature distribution is Normal or Gaussian. It is a often called as Scaling Normalization It is a often called as Z-Score Normalization. 58  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Rozkład normalny 59  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Rozkłady danych (distribution) 60  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Co nam mówią rozkłady danych? 61  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Pułapki regresji liniowej 62  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Pułapki regresji liniowej 63  Sztuczna Inteligencja w Bioinżynierii 2024/2025 „ground-truth line” Czy da się lepiej? estymator Theila-Sena regresja liniowa 64  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Punkt załamania (breakdown point) estymator Theila-Sena mediana 50% średnia arytmetyczna 0% 65  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Interpolacja vs ekstrapolacja 66  Sztuczna Inteligencja w Bioinżynierii 2024/2025 67 Wykład 3 – Drzewa decyzyjne Wykład 3 – Drzewa klasyfikacyjne?  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Gdzie tu jest drzewo? 70  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Gdzie tu jest drzewo? 71  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Gdzie tu jest drzewo? 72  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Terminologia 73  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Terminologia węzeł korzeń poddrzewo węzeł węzeł liść liść liść węzeł liść liść 74  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Drzewa decyzjne (decision tree) Drzewa decyzyjne są metodą indukcyjnego uczenia się pojęć i reprezentacji hipotez. Drzewo decyzyjne to technika uczenia nadzorowanego, która ma wstępnie zdefiniowaną zmienną docelową i jest najczęściej stosowana w problemach klasyfikacji. Drzewo to można stosować do zmiennych wejściowych i wyjściowych kategorycznych lub ciągłych. 75  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Drzewa decyzjne (decision tree) Drzewo decyzyjne jest strukturą złożona z korzenia (węzeł wyjściowy), węzłów, gałęzi i liści (węzłów terminalnych). Węzły odpowiadają testom przeprowadzanym na wartościach atrybutów, gałęzie odpowiadają wynikom tych testów, a liście – etykietom kategorii (klas). 76  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Drzewa decyzjne – reprezentacja graficzna 77  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Drzewa decyzjne – budowa modelu 78  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Drzewa decyzjne – budowa modelu 79  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Drzewa decyzjne – predykcja 80  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Drzewa decyzjne – predykcja 81  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Drzewa decyzjne – jak je zbudować? Od której zmiennej powinniśmy zacząć? 82  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Drzewa decyzjne – przykładowe algorytmy CART (Classification and Regression Trees) ID3 - Iterative Dichotomiser 3 C4.5 CHAID - Chi-squared Automatic Interaction Detection 83  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Drzewa decyzjne – przykład 84  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Jakie są różnice gdy zaczniemy od różnych cech? 85  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Nieczystość Giniego (Gini impurity score) Suma kwadratów prawdopodobieństwa dla każdej możliwej klasy (odpowiedzi). W przypadku drzew binarnych pierwszej i drugiej klasy 86  Sztuczna Inteligencja w Bioinżynierii 2024/2025 CART – nieczystość Giniego Używamy nieczystości Giniego, żeby ocenić jak dobrze różne cechy odpowiadają na główne zadane pytanie Im mniejsze zanieczyszczenie tym lepiej Zanieczyszczenie „zerowe” oznacza, że dana cecha w idealny sposób jest w stanie podzielić dane 88  Sztuczna Inteligencja w Bioinżynierii 2024/2025 CART – nieczystość Giniego - kroki Dodaj korzeń do kolejki Dla każdego węzła w kolejce o ile jest nie pusta: policz wartość nieczystości Giniego dla węzła i jego możliwych podziałów Jeżeli wartość nieczystości jest zawsze najniższa dla tego węzła, to jego podział jest niekorzystny i zostaje on liściem drzewa Jeżeli podział skutkuje w obniżeniu wartości nieczystości, wybierany jest taki podział, dla którego wartość ta jest najmniejsza Utworzone nowe węzły dodawane są do kolejki 89  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Przykładowe drzewo 90  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Przykładowe drzewo 91  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Entropia – (ang. entropy) W teorii informacji, entropia zmiennej losowej to potrzebna ilość „informacji” do opisania jednego stanu zmiennej biorąc pod uwagę rozkład prawdopodobieństwa Entropia przyjmuje wartości nieujemne, gdzie wartość 0 oznacza, że wynik próby jest doskonale deterministyczny, największa entropia zaś jest w sytuacji w której wszystkie wyniki są równe Entropia w przeciwieństwie do nieczystości Giniego opisuje nieczystość podzbiorów, a nie samego wyboru 92  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Entropia W teorii informacji, entropia zmiennej losowej to potrzebna ilość „informacji” do opisania jednego stanu zmiennej biorąc pod uwagę rozkład prawdopodobieństwa Entropia o wartości 0 oznacza, że wynik próby jest doskonale deterministyczny, jeżeli zmienna przyjmuje tylko dwie wartości to maksymalna wartość entropii to 1, gdy obie wartości są równie prawdopodobne Jednostką stosowaną do pomiaru entropii jest bit (dla log 2 𝑥 93  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Entropia - przykład 94  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Entropia – zastosowanie do DD 95  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Entropia – zastosowanie do DD 96  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Entropia – zysk informacyjne (ang. gain) 97  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Drzewa decyzjne – wady i zalety zalety wady proste do zrozumienia, interpretacji i wizualizacji Drzewa decyzyjne mogą być niestabilne – zmieniać się znaczenie nawet przy niewielkich zmianach w zbiorze treningowym można bezpośrednio stosować do zbiorów danych W przypadku niezrównoważonego zbioru zawierających wielkości kategoryczne (słonecznie, treningowego (np. znaczna liczba punktów danych pochmurnie, deszczowo) oraz ciągłe (prędkość z słoneczną pogodą) – tendencyjność (bias) z tym wiatru) związana może zostać przeniesiona na końcowe drzewo Drzewa decyzyjne stanowią podstawę bardziej Drzewa decyzyjne bardzo szybko stają się złożone złożonych ale i skutecznych technik takich jak i prowadzą do overfittingu. Konsekwencją tego losowe lasy jest ograniczona zdolność do generalizacji przy nowych danych teoretyczna możliwość „polepszania” drzewa Wytrenowanie modelu może być czasochłonne poprzez dodawanie kolejnych węzłów decyzyjnych nieliniowość danych nie wpływa na skuteczność 98 predykcji  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Drzewa decyzjne – co dalej… 99  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Drzewa decyzjne – co dalej… Random Forest Classifier 100  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Drzewa decyzjne – co dalej… 101 Wykład 4 – Klasteryzacja Wykład 4 – Analiza skupień Wykład 4 – Grupowanie  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Klasteryzacja 105  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Klasteryzacja 106  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Klasteryzacja Celem klasteryzacji (grupowania) jest automatyczne łączenie punktów danych w klastry (grupy, klasy, skupiska) Następnie klastrom można przydzielić etykiety W ogólności klastry dobierane są w taki sposób aby zminimalizować podobieństwo pomiędzy nimi, a zmaksymalizować podobieństwo wewnątrz nich W zależności od metody, liczba klastrów może być zakładana a priori lub wyznaczona przez algorytm 107  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Klasteryzacja Klasteryzacja należy do problemów uczenia nienadzorowanego. Dlatego nie da się jednoznacznie określić jakości klastrowania: dla konkretnych metod klastrowania można dobierać metryki oceniające jakość, można zastosować uczenie półnadzorowane można analizować jakość klastrowania dla ściśle zdefiniowanych topologii danych. 108  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Centroid Centroidem nazywamy punkt reprezentujący dane skupienie (ang. cluster) 109  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Algorytm K-średnich (K-means clustering) 110  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Dobór liczby klas (klastrów) 111  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Elbow method 112  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Elbow method within-cluster-sum-of-square Średnia wartość próbek w klastrze 𝒋 113  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Elbow method – problemy (?) 95 90 85 WCSS 80 75 70 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 Liczba klastrów 114  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Silhouette (sylwetka) 115  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Silhouette (sylwetka) 𝑏 𝑖 : średnia odległość pomiędzy 𝑖 oraz następnym najbliższym centroidem (nie z jego klastra) 𝑑𝑙𝑎 𝑝𝑢𝑛𝑘𝑡𝑢 𝑖: 𝑎 𝑖 : średnia odległość pomiędzy 𝑖 oraz wszystkimi pozostałymi punktami w jego klastrze Rozległe, nakładające Ścisłe, dobrze się klastry rozdzielone klastry 116  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Silhouette (sylwetka) – dla klastrów 117  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Silhouette (sylwetka) – dla klastrów 118  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Silhouette – wyznaczenie liczby klastrów 1 0,9 0,8 Silhouette score 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0 2 3 4 5 6 7 8 9 10 Tytuł osi 119  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Współczynnik Calińskiego-Harabasza 120  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Wybór liczby klastrów podsumowanie 121 Wyjaśnienie symboli w: LINK  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Wybór liczby klastrów przykład DCB ENF 122  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Metoda K-średnich - problemy 123  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Klasteryzacja - przykładowe algorytmy Algorytm k-średnich (k-means clustering) i podobne Klasteryzacja hierarchiczna (hierarchical clustering) Klasteryzacja spektralna (spectra clustering) Mieszanki Gaussowskie (?) (Gaussian Mixture Model) Grupowanie oparte na gęstości (np. DBSCAN) Klasteryzacja rozmyta (fuzzy clustering) 124  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Klasteryzacja - przykładowe algorytmy 125  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Klasteryzacja - przykładowe algorytmy 126 Wykład 5 – Naiwny (?) klasyfikator bayesowski  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Studium przypadku - 1 Sprinter „A” wygrał w tym sezonie 6 razy na dystansie 400 m, podczas gdy biegacz „B” wygrał tylko 2 razy Który z nich ma większą szansę wygrać kolejny bieg? 128  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Studium przypadku - 1 Sprinter „A” wygrał w tym sezonie 6 razy na dystansie 400 m (w tym 1 raz podczas silnego wiatru), podczas gdy biegacz „B” wygrał tylko 2 razy (oba razy przy silnym wietrze) Który z nich ma większą szansę wygrać kolejny bieg jeśli zapowiadany jest silny wiatr? 129  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Prawdopodobieństwo warunkowe ℙ(𝐴⋂𝐵) ℙ 𝐴𝐵 = ℙ(𝐵) 130  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Prawdopodobieństwo warunkowe – przykład 1 131 https://www.matemaks.pl/prawdopodobienstwo-warunkowe.html  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Prawdopodobieństwo warunkowe – przykład 1 132 https://www.matemaks.pl/prawdopodobienstwo-warunkowe.html  Sztuczna Inteligencja w Bioinżynierii 2024/2025 133  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Prawdopodobieństwo wystąpienia, wiarygodność Prawdopodobieństwo a priori Prawdopodobieństwo, że „B” jest prawdziwe, jeśli Prawdopodobieństwo, że „A” jest „A” jest prawdziwe. To są dane… prawdziwe. To są założenia… Prawdopodobieństwo a posteriori Prawdopodobieństwo brzegowe Prawdopodobieństwo, że „A” jest Prawdopodobieństwo, że „B” jest prawdziwe, jeśli „B” jest prawdziwe prawdziwe 134  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Prawdopodobieństwo wystąpienia, wiarygodność Prawdopodobieństwo a priori Prawdopodobieństwo, że „B” jest prawdziwe, jeśli Prawdopodobieństwo, że „A” jest „A” jest prawdziwe. To są dane… prawdziwe. To są założenia… ℙ 𝑋 = 𝑥 𝑌 = 𝑦𝑘 ∙ ℙ 𝑌 = 𝑦𝑘 ℙ 𝑌 = 𝑦𝑘 |𝑋 = 𝑥 = ℙ(𝑋 = 𝑥) Prawdopodobieństwo a posteriori Prawdopodobieństwo brzegowe Prawdopodobieństwo, że „A” jest Prawdopodobieństwo, że „B” jest prawdziwe, jeśli „B” jest prawdziwe prawdziwe 135  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Reguła Bayesa – rzut monetą 𝛼−1 𝛽−1 𝑥 ∙ 1−𝑥 𝐵(𝛼, 𝛽) 136  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Reguła Bayesa – rzut monetą Wiarygodność 𝑃 𝐷𝜃 = ℎ 𝑡 𝜃 ∙ 1−𝜃 137  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Reguła Bayesa – rzut monetą a priori 𝛼−1 𝛽−1 𝑥 ∙ 1−𝑥 𝐵(𝛼, 𝛽) 138  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Reguła Bayesa – rzut monetą 139  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Reguła Bayesa – rzut monetą 140  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Reguła Bayesa – rzut monetą 141  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Reguła Bayesa – rzut monetą 142  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Reguła Bayesa – rzut monetą 143  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Reguła Bayesa – rzut monetą Bayesowska aktualizacja prawdopodobieństwa a priori do prawdopodobieństwa a posteriori. Prawdopodobieństwo a posteriori jest kompromisem pomiędzy informacjami wniesionymi przez założenia a priori i informacjami pochodzącymi z danych (wiarygodność) 144 https://www.researchgate.net/publication/320507985_Introduction_to_the_Concept_of_Likelihood_and_Its_Applications  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Naiwny klasyfikator Bayesa Metoda uczenia maszynowego nadzorowanego używana do klasyfikacji Model wymaga określania a priori prawdopodobieństwa wystąpienia klas 𝑃(𝑌) oraz określenia prawdopodobieństwa obserwacji dla różnych klas 𝑃(𝑋|𝑌) Do wyznaczenia 𝑃 𝑌 𝑋 wykorzystywana jest reguła Bayesa Wybieramy tą etykietę klasy, dla której prawdopodobieństwo 𝑃(𝑌 = 𝑦 ∗ |𝑥) jest największe (hipoteza 𝑀𝐴𝑃) 145  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Naiwny klasyfikator Bayesa 146  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Dlaczego naiwny? ℙ 𝑌 = 𝑦𝑘 |𝑋1 𝑋2 … 𝑋𝑛 ℙ 𝑋1 𝑌 = 𝑦𝑘 ∙ ℙ 𝑋2 𝑌 = 𝑦𝑘 ∙...∙ ℙ 𝑋𝑛 𝑌 = 𝑦𝑘 ∙ ℙ 𝑌 = 𝑦𝑘 = ℙ 𝑋1 ∙...∙ ℙ 𝑋𝑛 147  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Naiwny klasyfikator Bayesa – przykład 148  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Naiwny klasyfikator Bayesa - zalety Bardzo szybki algorytm – można wykorzystywać w czasie rzeczywistym Może być wykorzystany zarówno w klasyfikacji dwóch jak i wielu klas W zależności od wykorzystanych rozkładów (Normalny, Wielomianowy, Bernoulii) może być wykorzystany do klasyfikacji różnych problemów Może być trenowany na małych zbiorach danych 149  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Naiwny klasyfikator Bayesa - wady Założenie niezależności zmiennych 150  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Macierz błędów (ang. Confusion matrix 151  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Błąd I rodzaju / Błąd II rodzaju 152  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Macierz błędów (ang. Confusion matrix 153  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Różne miary oceny klasyfikacji 154  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Dokładność (ang. Accuracy) stosunek liczby poprawnych przewidywań do ogólnej liczby próbek, czyli procent poprawnie sklasyfikowanych przypadków w stosunku do ogólnej liczby przypadków Dokładność jest przydatna, gdy klasy w zbiorze danych są zrównoważone 155  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Precyzja (ang. precision) stosunek poprawnie sklasyfikowanych pozytywnych przypadków do wszystkich przypadków sklasyfikowanych jako pozytywne Wysoka precyzja jest pożądana w sytuacjach, gdzie błędne pozytywne wyniki są kosztowne lub niebezpieczne 156  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Czułość (ang. recall / true positive rate) ocenia, ile spośród wszystkich rzeczywiście pozytywnych przypadków model jest w stanie wykryć poprawnie Wysoka precyzja jest pożądana w sytuacjach, gdzie błędne negatywne wyniki są kosztowne lub niebezpieczne 157  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Wskaźnik F1 jest średnią harmoniczną precission i recall i służy do oceny jakości klasyfikacji binarnej lub wieloklasowej Pomaga w znalezieniu równowagi między dokładnością identyfikacji pozytywnych przypadków (precyzją) a zdolnością do wykrywania wszystkich rzeczywiście pozytywnych przypadków (recall). 158  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Krzywa ROC wykres przedstawiający relację między dwiema ważnymi miarami czułość specyficzność (FP/(TN+FP) 159  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Inne miary… https://en.wikipedia.org/wiki/Confusion _matrix 160  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Idea klasyfikacji 161  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Naiwny klasyfikator Bayesa – jaki użyć? Bernoulli Naive Bayes – przy założeniu, że wszystkie cechy przyjmują tylko dwie wartości Multinomial Naive Bayes – przy założeniu, że cechy są zmiennymi dyskretnymi (np. oceny filmów przyjmują wartości całkowite z zakresu [1, 10] Gaussian Naive Bayes – przy założeniu, że cechy są zmiennymi o rozkładzie normalnym https://help.reliasoft.com/weibull20/bayesian_weibull_analysis.htm 162  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Naiwny klasyfikator Bayesa – przykłady 163 https://www.mdpi.com/1099-4300/20/12/944  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Naiwny klasyfikator Bayesa – przykłady 164 https://www.sciencedirect.com/science/article/pii/S0261306906002299  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Naiwny klasyfikator Bayesa – przykłady 165 Wykład 6 – Sieci Neuronowe cz. 1  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Sieci neuronowe - perceptron 167  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Neuron Schemat budowy neuronu: a – dendryty, b – ciało komórki, c – jądro komórkowe, d – akson, e – otoczka mielinowa, f – komórka Schwanna, g – przewężenie Ranviera, h – zakończenia aksonu 168  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Sieci neuronowe 169  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Sieci neuronowe synapsa Funkcja aktywacji Akson innego neuronu dendryt ciało komórki akson 170  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Sieci neuronowe warstwa wejściowa wejście neuron 𝑖 wyjście funkcja aktywacji warstwy ukryte próg 𝑡 warstwa trenowanie sztucznych sieci wyjściowa neuronowych polega na „uczeniu się” wag neuronów 𝑤𝑖𝑗 171  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Sieci neuronowe 172  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Historia sieci neuronowych 173  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Wzrost wielkość zbiorów danych 174  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Wzrost liczby połączeń 175  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Wzrost wielkości sieci neuronowych 176  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Głębokie sieci neuronowe 177  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Funkcja aktywacji - perceptron Perceptron jest prostym elementem obliczeniowym realizującym ważoną sumę wielu wejść połączoną z progowaniem: Możliwe jest dobranie właściwych wartości tych parametrów na podstawie odpowiedniego zbioru treningowego podczas procesu uczenia się sieci 178  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Funkcja aktywacji - neuron Przykładowa iloczyn skalarny funkcja aktywacji – wektorów wag i wejść tu krokowa bias funkcja aktywacji suma ważona wejść ang. activation function 179  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Funkcja aktywacji - neuron Funkcja aktywacji w sieci neuronowej definiuje sposób, w jaki ważona suma danych wejściowych jest przekształcana w dane wyjściowe z węzła lub węzłów w warstwie sieci. Czasami funkcja aktywacji jest nazywana „funkcją przejścia”. Jeśli zakres wyjściowy funkcji aktywacji jest ograniczony, może być nazywana „funkcją spłaszczającą”. Wiele funkcji aktywacji jest nieliniowych 180  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Funkcja aktywacji - sigmoidalna funkcja sigmoidalna (funkcja logistyczna) jest jedną z najczęściej używanych funkcji aktywacji w sieciach neuronowych. 1 𝜎 𝑥 = 1 + 𝑒 −𝑥 181  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Funkcja aktywacji - sigmoidalna Funkcja sigmoidalna przyjmuje wartości z przedziału 0,1 (problemy?) Funkcja nieliniowa (czy to ważne?) Funkcja sigmoidalna jest ciągła i ma gładką pochodną, co jest warunkiem koniecznym przy stosowaniu algorytmu wstecznej propagacji. (czy to ważne?) Pochodna funkcji sigmoidalnej jest łatwa do wyznaczenia: 𝜎 ′ 𝑥 = 𝜎 𝑥 ∙ (1 − 𝜎 𝑥 ) 182  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Funkcja aktywacji - sigmoidalna funkcja sigmoidalna (funkcja logistyczna) jest jedną z najczęściej używanych funkcji aktywacji w sieciach neuronowych. 1 𝜎 𝑥 = 1 + 𝑒 −𝑥 183  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Funkcja aktywacji - liniowa Liniowa funkcja aktywacji to najprostsza funkcja aktywacji stosowana w sztucznych sieciach neuronowych 𝑓 𝑥 =𝑥 184  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Funkcja aktywacji - liniowa Brak ograniczenia zakresu wyjść (czy to zaleta?) Funkcja liniowa (problemy?) Pochodna funkcji liniowej jest stała i wynosi 1. Oznacza to, że gradient nigdy nie zanika 185  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Funkcja aktywacji - sigmoidalna Funkcja liniowa (problemy?) Użycie liniowej funkcji aktywacji sprawia, że sieć zachowuje się jak kombinacja liniowa, niezależnie od liczby warstw. Dodatkowe warstwy nie zwiększają możliwości sieci 186  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Funkcja aktywacji - ReLu ReLU (Rectified Linear Unit) to jedna z najpopularniejszych funkcji aktywacji stosowanych w nowoczesnych sieciach neuronowych. Wykorzystywana jest także w głębokich sieciach neuronowych 𝑓 𝑥 = max(0, 𝑥) 187  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Funkcja aktywacji - ReLu Przyjmuje wartości z przedziału 0, ∞ (czy to zaleta?) Funkcja liniowa czy nieliniowa (?) Funkcja znacznie prostsza matematycznie niż sigmoidalna czy tangens hiperboliczny (czy to zaleta?) Można ją łatwo modyfikować redukując jej największe wady 188  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Funkcja aktywacji – ReLu i jej modyfikacje problem martwych neuronów 189  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Funkcja aktywacji – Przegląd 190  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Funkcja aktywacji - Softmax warstwa wyjściowa softmax prawdopodobieństwo 191  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Funkcja aktywacji - Softmax funkcja aktywacji stosowana głównie w ostatniej warstwie sieci neuronowych przy klasyfikacji wieloetykietowej. Przekształca wektor wyników zwróconych przez poprzednią warstwę na wartości będące prawdopodobieństwami zwraca wartości między 0 a 1 dla każdej klasy, a ich suma wynosi 1 Ze względu na komponent potęgowania, softmax wzmacnia różnice – co zwiększa pewność predykcji. W zadaniach wieloklasowych umożliwia sieci przypisanie danych do jednej klasy, wybierając tę z najwyższym prawdopodobieństwem. 192  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Funkcja aktywacji – Softmax - przykład 193  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Funkcja kosztu (ang. loss function) Funkcja kosztu to funkcja, która mierzy, jak dobrze model sieci neuronowej przewiduje wartości wyjściowe. Ocenia, jak bardzo wartości predykowane przez model różnią się od rzeczywistych wyników. Podczas treningu sieci neuronowej, celem jest minimalizacja tej funkcji. Wybór funkcji kosztu zależy od typu problemu, np. regresji czy klasyfikacji. 194  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Średni błąd kwadratowy (MSE, Mean Squared Error) MSE mierzy średnią kwadratową różnicę między przewidywaną wartością a rzeczywistą wartością. Im wyższa wartość tym gorsze przewidywanie modelu 195  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Entropia Krzyżowa (Cross-Entropy Loss) Mierzy ona różnicę pomiędzy przewidywanym rozkładem prawdopodobieństwa a rzeczywistym rozkładem (w którym wartość prawdziwa jest równa 1 dla poprawnej klasy, a 0 dla innych). Im wyższa wartość tym gorsze przewidywanie modelu (poprawna klasa nie miała wystarczająco dużego prawdopobieństwa) 196  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Średni błąd bezwzględny (MAE, Mean Absolute Error) MAE mierzy średnią bezwzględną różnicę między przewidywaną a rzeczywistą wartością. MAE jest bardziej odporny na wartości odstające niż. Im wyższa wartość tym gorsze przewidywanie modelu (poprawna klasa nie miała wystarczająco dużego prawdopobieństwa) 197  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Cosine Similarity Loss Funkcja kosztu oparta na kosinusie kąta między wektorami jest często używana do mierzenia podobieństwa między wektorami reprezentującymi np. teksty czy obrazy. Im wyższa wartość tym większa różnica między porównywami wektorami 198  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Funkcja kosztu - podsumowanie MSE – stosowana do zadań regresji, zwłaszcza gdy wartościowe jest karanie większych błędów w sposób bardziej znaczący. Entropia krzyżowa – standardowa funkcja kosztu w klasyfikacji wieloklasowej, skuteczna przy przewidywaniu prawdopodobieństw klas. MAE – stosowana do zadań regresji, gdy wartościowe jest stosowanie bardziej wyważonej oceny błędów, odporniejszej na wartości odstające. Cosine Similarity Loss – stosowana do zadań związanych z rozpoznawaniem i porównywaniem obrazów albo tekstu 199 Wykład 6 – Sieci Neuronowe cz. 2  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Metoda Newtona – Raphsona w MES 201  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Gradient prosty 202  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Gradient prosty tempo uczenia gradient funkcji 𝑓 203  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Gradient prosty 204 𝒇(𝒙, 𝒚) = −(𝒄𝒐𝒔𝟐𝒙 + 𝒄𝒐𝒔𝟐𝒚)𝟐  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Gradient prosty 205  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Gradient prosty 206  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Gradient prosty 207  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Propagacja wsteczna 208 https://home.agh.edu.pl/~vlsi/AI/backp_t_en/backprop.html  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Problem przeuczenia się (ang. overfitting) Przeuczenie – nadmierne dopasowanie do danych treningowych w metodach uczenia maszynowego nadzorowanego Przeuczenie – objawia się wzrostem błędu na danych walidujących (testowych, ang. testing dataset), pomimo jego spadku dla danych uczących (ang. training dataset) Optymalny warunek stopu – w momencie poprzedzającym przeuczenie 209  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Architektura sieci – istotne elementy Liczba warstw ukrytych; Liczba neuronów w każdej warstwie; Funkcja aktywacji; Współczynnik uczenia się; Kodowanie danych wejściowych i wyjściowych; Warunek stopu i problem przeuczenia się 210  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Rodzaje sieci neuronowych LINK DO PRZEGLĄDU RÓŻNYCH SIECI NEURONOWYCH [EN] 211  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Głębokie sieci neuronowe 212  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Głębokie sieci neuronowe – czemu mogą nie wystarczać? 213 https://www.youtube.com/watch?v=aircAruvnKk  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Głębokie sieci neuronowe – czemu mogą nie wystarczać? 214  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Głębokie sieci neuronowe – czemu mogą nie wystarczać? 215 https://www.youtube.com/watch?v=aircAruvnKk Jak możemy zmniejszyć rozmiar danych wejściowych? A może jakieś inne pomysły?  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Proste transformacje obrazu - negatyw for each pixel: pixel = pixel * -1 217  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Proste transformacje obrazu - filtry for each pixel: ??? 218  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Proste transformacje obrazu - filtry for each pixel: update pixel (pixel, neighbours) 219  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Działanie filtrów - przykład 220  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Działanie filtrów - przykłady 221  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Działanie filtrów - przykłady 222  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Działanie filtrów - przykłady https://setosa.io/ev/image-kernels/ 223  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Konwolucyjne sieci neuronowe 224  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Warstwy splotu (ang. convolution layers) 225  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Warstwy łączące (ang. pooling layers) 226  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Warstwy porzucenia (ang. dropout layers) 227  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Warstwy spłaszczające (ang. flatten layers) 228  Sztuczna Inteligencja w Bioinżynierii 2024/2025 Metryki oceny dostępne w Keras 229 https://keras.io/api/metrics/