Regresja Liniowa PDF - Uczenie Maszynowe

Regresja Liniowa Czym jest regresja w uczeniu maszynowym? Regresja w uczeniu maszynowym to klasa algorytmów służących do przewidywania wartości liczbowych na podstawie zbioru danych wejściowych W przeciwieństwie do klasyfikacji, gdzie celem jest przypisanie obiektu do jednej z kategorii,...

Regresja Liniowa Czym jest regresja w uczeniu maszynowym? Regresja w uczeniu maszynowym to klasa algorytmów służących do przewidywania wartości liczbowych na podstawie zbioru danych wejściowych W przeciwieństwie do klasyfikacji, gdzie celem jest przypisanie obiektu do jednej z kategorii, regresja służy do przewidywania wartości ciągłych. Typy regresji w uczeniu maszynowym 1.Regresja liniowa 2.Regresja wielomianowa 3.Regresja Ridge i Lasso 4.Regresja logistyczna 5.Regresja wielowymiarowa 6.Regresja drzew decyzyjnych 7.Regresja oparta na metodzie lasów losowych (Random Forest) 8.Regresja wspierana przez maszyny wektorów nośnych (SVR – Support Vector Regression) 9.Regresja bazująca na sieciach neuronowych. Regresja liniowa – model parametryczny Regresja liniowa jako model parametryczny – jest jednym z najpopularniejszych modeli w uczeniu nadzorowanym. Dane wejściowe – model uczony jest na podstawie zbioru przykładów (x1,y1),(x2,y2),…,(xm,ym), gdzie xi to zmienne wejściowe, a yi to wartości wyjściowe. Regresja liniowa Parametry te są wyznaczane w procesie uczenia i określają sposób, w jaki model dopasowuje się do danych. Kluczowe koncepcje w regresji uczenia maszynowego Overfitting i Underfitting Regularizacja Funkcja kosztu Feature Engineering Regresja liniowa Cel uczenia regresji - Regresja liniowa Regresja liniowa Regresja liniowa Regresja liniowa Pochodzenie terminu „regresja” Francis Galton wprowadził pojęcie "regresji w kierunku przeciętności" (regression towards mediocrity) w swojej pracy z 1886 roku. Badał on zależność między wzrostem rodziców a ich potomków, zauważając, że skrajnie wysokie lub niskie cechy rodziców nie są w pełni dziedziczone przez dzieci – tendencja ta prowadziła do wartości bliższych średniej populacji. Galton, F. (1886). ”Regression towards mediocrity in hereditary stature”. The Journal of the Anthropological Institute of Great Britain and Ireland. 15: 246–263. doi:10.2307/2841583 Regresja liniowa Regresja – model liniowy Najprostszy model (≡ przybliżenie rzeczywistości na podstawie obserwacji) jaki możemy zaproponować to taki w którym odległość jest zadana funkcją liniową cech pojazdów, Współczynniki θi to parametry naszego modelu. θ0 – wyraz wolny (stała), określa wartość przewidywaną, gdy cechy mają wartość zerową. θ1 – współczynnik wpływu masy samochodu na odległość (np. większa masa może skutkować mniejszym zasięgiem). θ2 – współczynnik wpływu mocy silnika na odległość (np. większa moc może pozwalać na dalszy zasięg, ale też może zwiększać spalanie). Regresja liniowa Regresja liniowa Regresja - zastosowanie Regresja - zastosowanie zastosowanie regresji liniowej oraz jej związek z współczynnikiem korelacji liniowej Pearsona. r= Regresja Zakres wartości współczynnika korelacji < 0.2 – brak zależności między zmiennymi (zmienne są praktycznie niezwiązane). 0.2 - 0.7 – słaba lub umiarkowana zależność (pewna zależność istnieje, ale nie jest bardzo wyraźna). 0.7 - 0.9 – dość silna zależność (zmienne są mocno skorelowane, ale nadal może występować wpływ innych czynników). > 0.9 – bardzo silna zależność (zmienne są niemal idealnie skorelowane liniowo). Regresja - zastosowanie Zalety regresji: 1.Prostota 2.Szybkość predykcji 3.Powszechność wykorzystania 1. Prostota i efektywność regresji prowadzą do jej szerokiego zastosowania w różnych dziedzinach, takich jak: 1.fizyka 2.technika 3.biologia 4.ekonomia 5.socjologia 6.astronomia 4.Elastyczność Regresja - zastosowanie Korelacja a wynikanie Korelacja a wynikanie  Trenowanie regresji Regresję liniową można przedstawić w bardziej zwartym i wygodnym matematycznie zapisie. Zastosowanie tego zapisu Ten sposób zapisu jest szeroko stosowany w implementacji regresji liniowej w językach programowania, np. w Pythonie z bibliotekami takimi jak NumPy czy TensorFlow. Pozwala na łatwiejszą optymalizację obliczeń, szczególnie w uczeniu maszynowym, gdzie można go zapisać w postaci macierzowej dla wielu przykładów naraz. Trenowanie regresji – równanie normalne Trenowanie regresji – równanie normalne Trenowanie regresji – równanie normalne  Trenowanie regresji – równanie normalne Przykład z równaniem normalnym i pseudoinwersją... (normal-equation-ex.py) W praktyce pseudoinwersja jest obliczana poprzez rozkład według wartości osobliwych. SVD jest bardziej stabilną metodą niż klasyczne rozwiązanie równania normalnego, ponieważ działa nawet dla macierzy osobliwych i niekwadratowych. Stosowana szeroko w regresji liniowej, redukcji wymiarów (PCA), oraz kompresji danych.  Trenowanie regresji – metoda najmniejszych kwadratów Ta metoda jest podstawą regresji liniowej, ale można ją rozszerzyć do innych wariantów, takich jak: Regresja grzbietowa (ridge regression) – dodaje regularyzację L2. Regresja LASSO – stosuje regularyzację L1. Podejście to może być także rozwiązane numerycznie przy użyciu algorytmów optymalizacji, np. metod gradientowych. Trenowanie regresji – metoda najmniejszych kwadratów Trenowanie regresji – metoda najmniejszych kwadratów Trenowanie regresji – metoda najmniejszych kwadratów metoda najmniejszych kwadratów (OLS - Ordinary Least Squares) działa poprawnie i prowadzi do wiarygodnych wyników. Kiedy stosować regresję Kiedy stosować regresję Kiedy stosować regresję Dlaczegho ½ - wykazać skąd się bierze, wpływ na optymalizację Trenowanie regresji – Algorytm gradientowy  Gradient descent jest podstawą optymalizacji w uczeniu maszynowym i sieciach neuronowych. Działa dobrze w regresji liniowej i wielu innych modelach, minimalizując funkcję celu. Wybór odpowiednich parametrów (learning rate, warunek stopu) ma kluczowe znaczenie dla skuteczności algorytmu. Trenowanie regresji – Algorytm gradientowy