Popular Regression and Classification Algorithms

Algorytmy Regresji i Klasyfikacji

• Regresja liniowa, regresja wielomianowa, SVR – Support Vector Regression, regresyjne drzewa decyzyjne, regresyjne lasy losowe są algorytmami regresji
• Regresja logistyczna, Support Vector Machines, drzewa decyzyjne, lasy losowe, metoda k-najbliższych sąsiadów, gradient boosting są algorytmami klasyfikacji

Budowa Modelu - Niezbalansowana Próba

• Metody estymacyjne mogą być wrażliwe na stosunek klas/kategorii w badanym zbiorze
• Stosunek 90:10 do 10:90 jest optymalny dla wiarygodnego oszacowania parametrów
• Oversampling, undersampling to metody zdezgenerowania niezbalansowanej próby

Budowa Modelu - Wybór Zmiennych

• Analiza jednowymiarowa (univariate analysis) ocenia indywidualny wpływ "risk driverów" na zmienną objaśnianą
• Outliers to wartości odstające, które różnią się od pozostałych
• Zmienne kategoryczne to zmienne opisowe, np. płeć, wykształcenie, zawód
• gotowe pakiety i funkcje do analizy danych to Dataframe.info(), Dataframe.describe(), Ydata profiling

Budowa Modelu - Działanie z Brakującymi Danymi

• Metody obsługi brakujących danych to usunięcie wartości, zastępowanie wartości
• LabelEncoder(), OneHotEncoder() są używane do obsługi zmiennych kategorycznych
• WoE (Weight of Evidence) jest stosowany do prezentacji riskdriverów

Budowa Modelu - Dobór Próby

• Standardowy sposób podziału próby to próba treningowa, próba testowa OOS (Out of sample), próba testowa OOT (Out of time)
• Próba treningowa to próba, na której modelarz tworzy model
• Próba testowa OOS składa się z tych samych okresów obserwacji, co próba treningowa
• Próba testowa OOT składa się z innych okresów, niż próba treningowa

Budowa Modelu - Wybór Modelu

• Modele regresji służą do określania wartości ciągłych
• Modele klasyfikacji służą do prognozowania lub klasyfikowania wartości dyskretnych
• Statystyki pomocne w ramach tej analizy to GINI, KS (Kolmogorov-Smirnoff), IV (Information Value)

Budowa Modelu - Wybór Zmiennych

• Analiza wielowymiarowa (multivariate analysis) ocenia, które zmienne mogą, a które nie powinny występować obok siebie w finalnym modelu