Regresja Liniowa: Wprowadzenie

Regresja Liniowa w Uczeniu Maszynowym

• Regresja to klasa algorytmów używana do przewidywania wartości liczbowych na podstawie danych wejściowych.
• W przeciwieństwie do klasyfikacji, celem regresji jest przewidywanie wartości ciągłych, a nie przypisywanie do kategorii.

Typy Regresji w Uczeniu Maszynowym

• Regresja Liniowa
• Regresja Wielomianowa
• Regresja Ridge i Lasso
• Regresja Logistyczna
• Regresja Wielowymiarowa
• Regresja Drzew Decyzyjnych
• Regresja oparta na metodzie Lasów Losowych (Random Forest)
• Regresja wspierana przez Maszyny Wektorów Nośnych (Support Vector Regression) (SVR)
• Regresja bazująca na Sieciach Neuronowych.

Regresja Liniowa - Model Parametryczny

• Jest jednym z najpopularniejszych modeli w uczeniu nadzorowanym.
• Model jest uczony na zbiorze przykładów (x1,y1),(x2,y2),…,(xm,ym), gdzie xi to zmienne wejściowe, a yi to wartości wyjściowe.
• Model opiera się na założeniu zależności: Yi = F(xi) = ao + a₁Xi, gdzie Ê to model.
• W ogólności może być funkcją wielu zmiennych (x1, x2,..., xn), czyli regresorów (regresja wielokrotna).
• Otrzymany model to liniowa kombinacja funkcji regresorów.
• Współczynniki kombinacji liniowej (ao, a₁) są parametrami modelu.
• Parametry te są wyznaczane w procesie uczenia i określają sposób, w jaki model dopasowuje się do danych.

Kluczowe Koncepcje w Regresji Uczenia Maszynowego

• Overfitting i Underfitting
• Regularizacja
• Funkcja Kosztu
• Feature Engineering

Cel i Uczenie Regresji Liniowej

• Podstawowym zadaniem modelu regresyjnego jest znalezienie takich wartości parametrów a0, a1,..., które minimalizują błąd pomiędzy wartościami rzeczywistymi yi a wartościami przewidywanymi przez model F(xi).
• Uczenie regresji polega na minimalizacji błędu średniokwadratowego przybliżenia, gdzie suma przebiega po danych treningowych.

Predykcja w Regresji Liniowej

• Dla nowego przykładu xk, etykieta jest wyliczana jako Ук =Ê(xk).

Regresja w Statystyce

• Ustalenie zależności między zmiennymi, gdzie y = f(x; θ) ≈ F(x), x to zmienne opisujące, a θ to parametry modelu.
• Jest to uczenie nadzorowane.

Pochodzenie Terminu "Regresja"

• Francis Galton wprowadził pojęcie "regresji w kierunku przeciętności" (regression towards mediocrity) w 1886 roku.
• Badał zależność między wzrostem rodziców a ich potomków.
• Zauważył, że skrajnie wysokie lub niskie cechy rodziców nie są w pełni dziedziczone przez dzieci.
• Tendencja ta prowadziła do wartości bliższych średniej populacji.

Regresja - Model Liniowy (Przykład)

• Najprostszy model, w którym odległość jest zadana funkcją liniową cech pojazdów: yo(x) = θο + 01x1 + 02x2
• Współczynniki θi to parametry modelu.
• θ0: wyraz wolny (stała), określa wartość przewidywaną, gdy cechy mają wartość zerową.
• θ1: współczynnik wpływu masy samochodu na odległość.
• θ2: współczynnik wpływu mocy silnika na odległość.

Znaczenie Liniowości w Regresji

• Liniowość modelu oznacza, że ye jest liniową funkcją θ.
• Liniowość regresji oznacza, że zależność między zmiennymi jest liniowa.

Zastosowanie Regresji Liniowej

• Regresję liniową można stosować, gdy spełnione jest podstawowe założenie, że cechy (zmienne losowe) są liniowo zależne.
• Decyzję o użyciu regresji liniowej podejmuje się na podstawie współczynnika korelacji liniowej Pearsona.

Współczynnik Korelacji Liniowej Pearsona

• Określa relacje między wektorami x - x i y - ӯ, które są proporcjonalne.
• Jest to r= cov(x, y) / (√var(x) x √var(y))

Zakres Wartości Współczynnika Korelacji

• < 0.2: brak zależności między zmiennymi.
• 0.2 - 0.7: słaba lub umiarkowana zależność.
• 0.7 - 0.9: dość silna zależność.
• > 0.9: bardzo silna zależność.
• Dane w przedziałach 0.7 - 0.9 i >0.9, są zależne do zastosowania regresji liniowej

Zalety Regresji

• Prostota
• Szybkość predykcji
• Powszechność wykorzystania w różnych dziedzinach (fizyka, technika, biologia, ekonomia, socjologia, astronomia)
• Elastyczność

Najstarsze Zastosowanie Regresji

• Astronomia
• Adrien-Marie Legendre (1805)
• Carl Friedrich Gauss (1809)

Korelacja a Wynikanie

• Korelacja i wynikanie to dwie różne sprawy.

Trenowanie Regresji

• Regresję liniową można przedstawić w bardziej zwartym i wygodnym matematycznie zapisie.
• Zależność y = 0.x, gdzie xo=1, jest szeroko stosowana w implementacji regresji liniowej w językach programowania (np. Python z NumPy czy TensorFlow).
• Taki zapis pozwala na łatwiejszą optymalizację obliczeń, szczególnie w uczeniu maszynowym, gdzie można go zapisać w postaci macierzowej dla wielu przykładów naraz.

Trenowanie Regresji – Równanie Normalne

• Wyniki obserwacji zapisujemy w postaci macierzowej.
• Trenowanie modelu regresji sprowadza się do rozwiązania równania macierzowego Xθ = y dla niewiadomej θ.
• Przy odpowiednich założeniach i przemnożeniu przez XT, otrzymujemy XTXθ = XTy.

Pseudoinwersja Moore'a-Penrose'a Macierzy

• X+ = (XTX)-1 XT
• Może być policzona dla macierzy nieodwracalnych.
• Spełnia warunek AA+A = A.

SVD (Singular Value Decomposition)

• Dowolna macierz A ∈ Rmxn o elementach rzeczywistych może być przedstawiona jako A = UΣVT.
• Σ ∈ Rmxn jest diagonalna, U ∈ Rmxm i V ∈ Rnxn są macierzami ortogonalnymi.
• Niezerowe elementy Σ to wartości osobliwe macierzy A.
• SVD jest bardziej stabilną metodą niż klasyczne rozwiązanie równania normalnego dla macierzy osobliwych i niekwadratowych.
• Stosowana w regresji liniowej, redukcji wymiarów (PCA) i kompresji danych.

Metoda Najmniejszych Kwadratów

• Minimalizacja funkcji ||Xθ – y||^2.
• Jest to podstawa regresji liniowej, ale można ją rozszerzyć do innych wariantów.
• Regresja grzbietowa (ridge regression) dodaje regularyzację L2.
• Regresja LASSO stosuje regularyzację L1.
• Podejście może być rozwiązane numerycznie przy użyciu algorytmów optymalizacji (np. metod gradientowych).

Warunki Działania Metody Najmniejszych Kwadratów (OLS)

• Zmienne są liniowo zależne.
• Obserwacje są niezależne.
• Reszty mają rozkład normalny.

Kiedy Stosować Regresję

• Reszty (różnice między przewidywaniami a obserwacją) określają, jak model różni się od rzeczywistości.
• Reszty powinny pochodzić z tego samego rozkładu.
• Funkcja wiarygodności jest określona jako p(y|x;θ).
• Maksymalizacja wiarygodności daje funkcję celu, którą wykorzystujemy do uczenia regresji.
• Funkcja celu dla metody najmniejszych kwadratów ocenia poprawność dopasowania do danych.

Algorytm Gradientowy

• Metoda gradientu prostego (ang. gradient descent) jest iteracyjną metodą optymalizacji.
• Wybór losowego punktu startowego θ0.
• Obliczanie θk+1 = θk - αk∇f(xk), czyli kroków w kierunku minimalizacji funkcji kosztu.
• Gradient descent jest podstawą optymalizacji w uczeniu maszynowym i sieciach neuronowych.
• Działa dobrze w regresji liniowej i minimalizuje funkcję celu.
• Wybór odpowiednich parametrów (learning rate, warunek stopu) jest bardzo ważny dla skuteczności algorytmu.
• Metoda gradientowa może być stosowana, gdy mamy do analizy wielowymiarową przestrzeń cech.
• Najczęściej wykorzystywane polityki to batch gradient descent, stochastic gradient descent, i mini-batch gradient descent.