Pengantar Data Mining

Pengantar Data Mining

• Data mining adalah proses untuk menemukan pola, model, atau pengetahuan yang bermanfaat dari kumpulan data yang besar.
• Tujuan utama data mining adalah mengubah data mentah menjadi informasi untuk pengambilan keputusan.
• Data mining disebut juga sebagai knowledge discovery from data, pattern discovery, knowledge extraction, dan data analytics.
• Data mining diperlukan karena pertumbuhan data yang eksponensial sulit dikelola secara manual.
• Data mining didorong oleh teknologi komputasi, kebutuhan informasi cepat dan akurat, serta inovasi teknologi untuk mendukung keputusan bisnis.

Ruang Lingkup Data Mining

• Data mining mencakup teknologi basis data, statistika, machine learning, pemrosesan bahasa alami (NLP), dan kecerdasan buatan (AI).
• Teknologi Basis Data: Mengelola data besar secara efisien dan memastikan skalabilitas dalam analisis.
• Statistika: Membantu memodelkan dan memverifikasi hasil data mining.
• Machine Learning: Menemukan model optimal untuk penggalian informasi.
• Natural Language Processing (NLP): Analisis data teks untuk menemukan pola atau tren opini publik.
• Artificial Intelligence (AI): Mendukung sistem cerdas dalam pengambilan keputusan yang lebih baik dan efisien.
• Data mining diterapkan di berbagai bidang seperti bisnis, media sosial, kesehatan, keuangan, e-commerce, dan manufaktur, untuk segmentasi pelanggan, deteksi kecurangan, dan pemeliharaan prediktif.

Jenis Data

• Data Kualitatif: Data kategori atau deskripsi tanpa nilai numerik, contohnya warna atau jenis kelamin.
  • Nominal: Data kategori tanpa urutan, contohnya jenis kelamin atau warna.
  • Ordinal: Data kategori dengan urutan, contohnya tingkat pendidikan.
• Data Kuantitatif: Data berupa angka dan dapat diukur.
  • Diskrit: Data dengan nilai terbatas, contohnya jumlah anak.
  • Kontinu: Data dengan nilai dalam rentang tertentu, contohnya tinggi badan.

Skala Pengukuran Data

• Nominal: Kategori tanpa urutan, contohnya jenis kelamin atau agama.
• Ordinal: Kategori dengan urutan yang tidak memiliki jarak yang jelas antar kategori, contohnya tingkat pendidikan.
• Interval: Numerik dengan urutan dan jarak sama antar nilai, tetapi tanpa titik nol mutlak, contohnya suhu Celsius.
• Rasio: Numerik dengan jarak sama antar nilai dan memiliki titik nol mutlak, contohnya berat atau panjang.

Teknik Sampling

• Sampling digunakan untuk memilih sampel dari populasi untuk analisis data yang efisien.
• Random Sampling: Setiap anggota populasi memiliki peluang yang sama untuk dipilih.
• Stratified Sampling: Populasi dibagi menjadi subgrup, lalu sampel diambil acak dari tiap subgrup.
• Cluster Sampling: Populasi dibagi menjadi kelompok, lalu kelompok tertentu dipilih acak untuk dianalisis.
• Systematic Sampling: Sampel dipilih dengan interval tertentu, contohnya setiap anggota ke-n dari populasi.
• Undersampling dan Oversampling: Mengatasi data tidak seimbang; undersampling mengurangi sampel kelas mayoritas, oversampling menambah sampel kelas minoritas.

Ukuran Statistik

• Ukuran Pemusatan (Measures of Central Tendency)
  • Mean (Rata-rata): Cocok untuk data simetris tanpa nilai ekstrem.
  • Median: Lebih baik untuk data dengan distribusi miring atau outlier.
  • Mode: Digunakan untuk data kategori atau menentukan nilai yang paling sering muncul.
• Ukuran Penyebaran (Measures of Dispersion)
  • Range (Jangkauan): Selisih maksimum dan minimum, sensitif terhadap outlier.
  • Interquartile Range (IQR): Ukuran penyebaran di tengah data, mengabaikan outlier.
  • Variance (Varians) dan Standard Deviation (Simpangan Baku): Mengukur penyebaran data terhadap rata-rata; simpangan baku dalam satuan data asli.
  • Coefficient of Variation (Koefisien Variasi): Persentase simpangan baku terhadap mean, membandingkan variabilitas antar kumpulan data.
• Deteksi Outlier: Interquartile Range (IQR) digunakan untuk menentukan batas bawah dan atas, dan nilai di luar batas dianggap outlier.

Penggunaan Grafik

• Bar Chart (Diagram Batang): Menampilkan data kategori dengan frekuensi atau jumlah dalam tiap kategori.
• Line Chart (Diagram Garis): Memvisualisasikan tren data dari waktu ke waktu.
• Pie Chart (Diagram Lingkaran): Menunjukkan proporsi data sebagai bagian dari keseluruhan.
• Box Plot (Diagram Kotak-Garis): Visualisasi distribusi data termasuk nilai tengah, penyebaran, dan outlier.
• Histogram: Menampilkan frekuensi data dalam rentang, berguna melihat distribusi data.

Perbedaan KDD dan CRISP-DM

• KDD: Fokus pada penemuan pengetahuan dalam basis data, meliputi serangkaian langkah menemukan informasi yang dapat digunakan dari data besar, dengan tahapan meliputi pemilihan data, praproses, transformasi, data mining (analisis) dan interpretasi.
• CRISP-DM: Metodologi terstruktur yang lebih banyak digunakan dalam industri untuk proyek data mining, dengan tahapan dimulai dari Business Understanding, Data Understanding, Data Preparation, Modeling, Evaluation, Deployment, setiap tahapan dapat kembali ke sebelumnya jika diperlukan.
• CRISP-DM menekankan pemahaman mendalam tujuan bisnis dan kebutuhan organisasi sejak awal, sedangkan KDD berfokus langsung pada data.

Pemahaman tentang Data (Data Understanding)

• Pengumpulan Data: Mengumpulkan data yang relevan dengan masalah yang ingin dipecahkan.
• Deskripsi Data: Menggambarkan struktur dan isi dataset, termasuk jenis data, jumlah variabel, dan tipe variabel (numerik atau kategorik).
• Eksplorasi Data: Analisis untuk menemukan pola dan hubungan dalam data, menggunakan visualisasi seperti histogram dan scatter plot.
• Penilaian Kualitas Data: Memeriksa masalah kualitas data seperti redundansi, data yang hilang, inkonsistensi, outlier, dan data bising.

Pemahaman tentang Modelling dan Evaluation

• Modelling: Proses menerapkan teknik statistik atau machine learning untuk menemukan pola atau wawasan prediktif yang relevan dengan masalah bisnis.
  • Data readiness: Memastikan data bersih (cleansing), bebas pencilan (outlier), dan ternomalisasi.
  • Data splitting: Membagi data menjadi set pelatihan dan pengujian untuk cross-validation.
  • Algoritma yang sesuai: Memilih algoritma yang tepat sesuai dengan masalah dan tipe data. Evaluation: Menilai kinerja model, memastikan memenuhi tujuan bisnis, dengan metode yang berbeda untuk tiap jenis model:
  • Klasifikasi: Confusion matrix (akurasi, presisi, recall, f1-score), AUC, dan kurva ROC.
  • Regresi: RMSE (Root Mean Square Error), MAE (Mean Absolute Error), dan R-square.
  • Clustering: Silhouette Score dan Elbow Score.

Linear Regression

• Linear Regression adalah teknik statistik untuk memodelkan hubungan linier antara satu atau lebih variabel independen (prediktor) dan variabel dependen (respons) yang bersifat numerik.
• Persamaan garis linear: Y = b0 + b1X1 + b2X2 + ... + bnXn + ϵ
  • Y adalah variabel dependen (nilai yang diprediksi).
  • X1,X2,...,Xn adalah variabel independen.
  • b0 adalah intercept (konstanta).
  • b1,b2,...,bn adalah koefisien untuk variabel independen.
  • ϵ adalah error term.
• Tujuan Linear Regression adalah menemukan garis terbaik yang meminimalkan selisih antara nilai aktual dan prediksi, yang disebut dengan least squares method.
• Jenis-jenis Linear Regression:
  • Simple Linear Regression: Satu variabel independen.
  • Multiple Linear Regression: Lebih dari satu variabel independen.
• Asumsi Linear Regression:
  • Hubungan antara variabel dependen dan independen adalah linier.
  • Residual atau error dari model bersifat independen dan terdistribusi normal.
  • Tidak ada multikolinearitas di antara variabel independen.
• Linear Regression digunakan untuk memprediksi harga, estimasi penjualan produk, atau analisis tren penjualan.

Logistic Regression

• Logistic Regression adalah metode statistik untuk memodelkan hubungan antara variabel independen dan variabel dependen biner (dua kategori).
• Tidak seperti Linear Regression yang memprediksi nilai numerik, Logistic Regression memprediksi probabilitas suatu kejadian.
• Persamaan Logistic Regression menggunakan fungsi logit (sigmoid) untuk mengonversi hasil prediksi menjadi nilai antara 0 dan 1.
• In (p/(1-p)) = -3 + 0.05 * Waktu
  • Intercept (-3): Log odds ketika waktu = 0 (probabilitas sangat rendah).
  • Koefisien Waktu (0.05): Kenaikan log odds dengan bertambahnya waktu.
• Binary Logistic Regression: Variabel dependen memiliki dua kategori.
• Multinomial Logistic Regression: Variabel dependen memiliki lebih dari dua kategori yang tidak berurutan.
• Ordinal Logistic Regression: Variabel dependen memiliki lebih dari dua kategori yang berurutan.
• Asumsi Logistic Regression:
  • Tidak ada hubungan linier antara variabel independen dan dependen.
  • Variabel independen sebaiknya tidak memiliki multikolinearitas.
  • Ukuran sampel harus cukup besar.
• Logistic Regression dievaluasi dengan Confusion Matrix, Accuracy, Precision, Recall, F1-Score, ROC Curve, dan AUC.
• Logistic Regression berguna untuk memprediksi pelanggan membeli produk, risiko penyakit, atau klasifikasi email (spam/tidak spam).

K-Means Clustering

• K-means adalah metode clustering berbasis centroid dalam unsupervised learning untuk mengelompokkan data berdasarkan kesamaan.
• Setiap cluster diwakili oleh centroid yang merupakan rata-rata dari semua titik data dalam cluster.
• Hasil klastering sensitif terhadap penempatan awal centroid saat inisialisasi, dapat menghasilkan klaster suboptimal.
• K-means juga sensitif terhadap outlier karena mempengaruhi posisi centroid.
• Proses iteratif K-means meliputi assignment (menetapkan data ke centroid terdekat) dan update (memperbarui posisi centroid berdasarkan rata-rata titik dalam klaster).
• K-means memiliki kompleksitas waktu linear, cocok untuk dataset besar.
• Meskipun sederhana dan mudah diimplementasikan, K-Means memiliki keterbatasan yaitu sentitif terhadap inisialisasi dan outlier.
• K-means dapat diterapkan untuk segmentasi pasar, pengenalan pola dalam citra, deteksi anomali, dan analisis jejaring sosial.

K-Medoids Clustering

• Algoritma clustering ini membagi data menjadi beberapa cluster dengan memilih pusat cluster medoid yang merupakan salah satu data aktual dan bukan rata-rata seperti K-Means.
• K-medoids lebih tahan terhadap noise dan outlier. Menggunakan medoid.
• Algoritma ini menggunakan berbagai metrik jarak, membuatnya lebih fleksibel.
• K-medoids cenderung lebih tahan terhadap outlier atau noise.
• Pemahaman cluster lebih mudah karena medoid mewakili titik data asli.
• Inisialisasi awal medoid dapat mempengaruhi hasil clustering, inisialisasi yang buruk menghasilkan cluster yang tidak optimal.
• K-medoids memerlukan biaya komputasi yang tinggi dan tidak cocok untuk dataset yang sangat besar.
• K-medoids cocok untuk dataset dengan banyak noise dan atau bentuk cluster yang tidak teratur.

Menentukan Algoritma yang Sesuai

• Prediksi (Prediction)
  • Regresi - Prediksi nilai kontinu
  • Decision Tree - Prediksi kategori (klasifikasi) yang dapat juga mengandung atribut kategoris
  • K-Means Clustering - mengelompokkan data berdasarkan perilaku/preferensi tanpa label
• Segmentasi (Segmentation) Clustering (Hierarchical) - Membangun Hierarki antar kelompok yang butuh banyak sumber daya komputasi tetapi berguna untuk dataset yang lebih kecil
• Clustering* adalah mengelompokkan data berdasarkan kedekatan karakteristik antar data dalam cluster yang populer, karena dapat mengidentifikasi kelompok-kelompok yang memiliki karakteristik mirip Algoritrma disesuaikan dengan :
  • Tujuan bisnis yang spesifik = Prediksi atau segmentasi.
  • Karakteristik Dataset = Dilabel atau tidak, jenis variable (ada atau tidak), ukuran dataset

Sintaks di dalam Python

• Sintaks di dalam Python dibagi menjadi
  • Memuat dan Membaca Data -> pd(excel,csv)/read
  • melihat Strutur Data -. head(), tail(), dan info()
  • Satiistik Deskriptif - describe()
• Analisis Data Numerik
  • Ukuran Statistik : mean(), median(), mode()
  • korelasi : corr()
• Visualisasi Data
  • Matplotlib - Histrogram(plt.hist()) dan lain lain
  • Seaborn - histrogram (sns.histplot() dan lain lain Data terbagi menjadi dua, data Numerik an Data Kategori

Sintaks

• Sintaks
  • duplicated untuk mengindetifikasi baris terduplikat dan drop.deruplicates() untuk manghapusnya
  • str.lower str.upper dan str.titlle() digunakan untuk menyamakan format tex.
  • isna() atau isnull() mengindentifikasi nilai Nan dropna() menghapus barisyang mengandung nilai kosong.
• Outlier
  • menggunakan np.standart(), deviari untuk menghitung data data serta np.percentile()

Lain-Lain

• Mengurangi jumlah fitur dalam dataset mengurangi kompleksitas data mengurangi dataset yang kompleks
• Data encoding mengubah data kategorikal menjadi numeric agar machine learning lebih optimal dan mengguanakn oneHodencoder