Analiza Datelor: Reprezentări Grafice și Corelații

Study Notes

Analiza Datelor - Note de Studiu

Seminar 2: Reprezentări grafice dependențe
- Setul de date utilizează datele din seminarul anterior (POPULATIE.csv).
- Se creează o nouă variabilă populatie2 ce conține coloanele 4-17 din populatie.
- Graficul plot(POP, UNEMP) reprezintă dependența dintre POP (Populație) și UNEMP (Șomaj) folosind puncte colorate în albastru.
- Liniile de regresie sunt adăugate (abline(model, col="red")) la grafic.
- Se utilizează pachetul ggplot2 pentru reprezentarea grafică a datelor de tip scatter-plot, colorate în mov, cu etichete (populatie$ISO3).
Seminar 2: Matricea de corelație
- Se calculează matricea de corelație (cor()) și matricea de covarianta (cov()) pentru variabilele în populatie2.
- Covarianța măsoară variabilitatea dintre două variabile și direcția de variație.
- Corelația reprezintă o măsură a variabilității și intensității legăturii dintre două variabile.
- Se utilizează pachetul Hmisc pentru a calcula matricea de corelație (funcția rcorr).
- Se utilizează pachetul corrplot pentru a vizualiza matricea de corelație (corrplot(M) ), atât în partea superioară cât și completă a matricei, cu metode diferite de reprezentare (method = "square", method="number") .
Seminar 2: Standardizarea datelor
- Standardizarea (date_std <- scale(populatie[4:17], scale = TRUE)) transformă datele într-o distribuție standard (medie 0 și abatere standard 1).
- Aceasta este necesară pentru analiza componentelor principale.
Seminar 4: Analiza componentelor principale (ACP)
- ACP este o metodă de învățare nesupervizată ce reduce dimensionalitatea datelor.
- Se obțin componente principale ce maximizează varianța datelor.
- Valorile proprii (valp) reprezintă proporția de varianță reținută de fiecare componentă principală.
- Se utilizează chart.Correlation(populatie2, histogram = TRUE, pch = 19) pentru a vizualiza matricea de corelație utilizând pachetu PerformanceAnalytics.
Seminar 5: Analiza componentelor principale (ACP)` - continuare
- Se utilizează funcția princomp pentru extragerea componentelor principale.
- Se calculează și se afişează varianța (valp) și procentul din informația reținută (procent_info) pentru fiecare componentă.
- Se calculează procentul cumulat (procent_cumulat).
- Se construiește graficul Scree Plot pentru a identifica numărul optim de componente principale care explică o majoritate semnificativă din variaţia totală.
Seminar 7: Analiza Factorială (AF)
- Se preiau datele utilizate în seminarele anterioare.
- Se elimină valorile lipsă (populatie2=na.omit(populatie2)).
- Se standardizează datele (date_std<-scale(populatie2, scale=TRUE)) pentru verificare ulterioară.
Seminar 8, 9 si 10: Analiza Bivariată a Corespondențelor (AC)
- Aplicarea analizei corespondențelor pe o tabelă de contigenţă (frecvenţe).
- Calcularea valorilor observate și așteptate pentru matricea de contingenţă.`
- Aplicarea testului de independenţa χ² (Chi-pătrat).
- Reprezentarea grafică a coordonatelor observațiilor din matricea de corespondenţă (biplot).
- Extragerea informaţiilor din variabila coloană și variabila linie.
Seminar 11: Analiza Cluster
- Metode ierarhice (AGNES, DIANA).
- Metoda K-means (în avans este fixat numărul de clustere k).
- Calcularea distanţei euclidiene între observații.
Seminar 12: Clasificare
- Algoritm Naive Bayes (probabilități condiționate).
- Algoritm KNN (K-cel mai apropiat vecin).
- Algoritmul SVM (Support Vector Machines).
- Arbori de decizie (constructia arborelui și predictii).
- Regresie logistică (variabila răspuns este binară).
Seminar 13 si 14: Recapitulare și evaluare modele clasificare
- Recapitulare metode de clasificare, cu o listă de algoritmi (Naive Bayes, KNN, SVM, Arbori de decizie, Random Forest, Regresie Logistică).
- Compararea acurateții clasificatorilor în raport cu datele de testare.
- Identificare aspecte importante din analiză: erori de clasificare și predicții.