Klasyfikacja i Macierz Błędów w Analizie Danych

Statystyczne Reguły Decyzyjne [233720]

• Temat to modele klasyfikacyjne i wprowadzenie do uczenia nadzorowanego.
• Autor to Mateusz Zawisza.
• Dokument dotyczy statystycznych reguł decyzyjnych.

Agenda 2. wykładu

• Prezentowane są zagadnienia dotyczące analizy danych.
• Pierwszy punkt to definicja analizowanych danych.
• Następnie omówiony jest model regresji liniowej.
• Kolejny punkt to model regresji logistycznej.
• Czwarty punkt dotyczy optymalnego progu odcięcia.
• Piąty punkt dotyczy wyboru optymalnego modelu za pomocą podziału danych na trzy zbiory: treningowy, walidacyjny i testowy.

Zgromadzone dane

• Dane są tabelaryczne, z wierszami reprezentującymi obserwacje.
• Kolumny reprezentują zmienne objaśniające i zmienną przewidywaną.
• Zmienne objaśniające to zmienne X1, X2, itd.
• Zmienna przewidywana to zmienna y.
• Dane obejmują cechy jak rating, zawód, zarobki i czy kredyt został spłacony.

Typy danych

• Dane nominalne - mają skończoną liczbę wartości, w tym wartości binarne (2 wartości) i wartości porządkowe.
• Dane ciągłe.
• Istnieją braki danych w zbiorze.

Regresja liniowa

• Standardowa postać funkcyjna regresji liniowej to f(x1, ..., xk) = a0 + a1x1 + ... + akxk + ε.
• Funkcja f(X) może być dowolna i niekoniecznie liniowa.
• Parametry wyznaczane są metodą najmniejszych kwadratów (MNK).

Regresja logistyczna (1)

• Funkcja wiążąca g(X) = a0 + a1x1 + ... + anxn.
• Prawdopodobieństwo to f(X) = exp(g(x)) / (1 + exp(g(x))).
• Parametry wyznaczane są metodą największej wiarygodności (MNW).

Regresja logistyczna (2)

• Prawdopodobieństwo f(X) jest w przedziale (0, 1).
• Logarytm ilorazu szans (logit) jest równy funkcji wiążącej g(X).
• Funkcja wiążąca g(X) zakłada rozkład logistyczny, ale możliwe jest zastosowanie prostego rozkładu normalnego.
• Regresja logistyczna i regresja probitowa należą do uogólnionych modeli liniowych (GLM).
• Można stosować modele Poissona.

Prawdopodobieństwo bankructwa

• Prawdopodobieństwo bankructwa można prognozować za pomocą modelu liniowego lub regresji logistycznej.

Wyznaczanie klasyfikacji / decyzji

• Klasyfikacja binarna to proces przypisania obserwacji do jednej z dwóch kategorii.
• Do klasyfikacji zazwyczaj wykorzystuje się macierz błędów / tablicę pomyłek.
• Progi decyzyjne są istotnym elementem oceny.

Wybór progu odcięcia (1) i (2)

• Własności progu odcięcia.
• Kryteria oceny modelu, oczekiwany zysk/koszt.

Przykład (3)

• Wybór progu odcięcia (T) ma największy wpływ na wartość biznesową modelu.
• Domyślny próg 50% praktycznie nigdy nie jest optymalny.

Podejście - podział danych na trzy zbiory

• Podejście do uczenia maszynowego polegające na podziale zbioru danych na trzy zbiory.
• Dane historyczne są używane do estymacji.
• Dane z podziału są używane do walidacji i szacowania błędu prognozy.
• Na podstawie walidacji i szacowania błędu prognozy dobiera się model.

Skutki pominięcia zbioru walidacyjnego i testowego

• Jeśli nie zastosuje się zbioru walidacyjnego nie ma kryteriów do wyboru modelu.
• Jeśli nie zastosuje się zbioru testowego nie ma kryteriów do oceny jakości modelu.

Który model jest najlepszy?

• Ocena modeli na podstawie minimalizacji błędu uczenia.