Pengantar Deep Learning

Pengantar Deep Learning dan Platform Implementasi

• Kuliah ini memperkenalkan Deep Learning dan platform implementasinya.

Tujuan Pembelajaran

• Memahami konsep dasar Deep Learning.
• Mengenal berbagai framework Deep Learning.
• Memahami konsep tensor sebagai dasar operasi dalam Deep Learning.

Apa Itu Deep Learning?

• Deep Learning adalah subbidang dari Machine Learning.
• Menggunakan jaringan saraf tiruan (neural networks) dengan banyak lapisan (deep neural networks).
• Mampu mempelajari representasi data yang kompleks dari data yang besar (big data).

Perbandingan Neural Network vs Deep Neural Network

Jumlah Lapisan

• Neural Network Sederhana memiliki 1-2 hidden layer.
• Deep Neural Network (DNN) memiliki banyak lapisan (3 atau lebih hidden layer).

Kompleksitas

• Neural Network Sederhana memiliki kompleksitas yang rendah.
• Deep Neural Network (DNN) memiliki kompleksitas yang tinggi.

Kemampuan Belajar

• Neural Network Sederhana terbatas pada pola yang sederhana.
• Deep Neural Network (DNN) mampu mempelajari pola yang kompleks.

Contoh Kasus

• Neural Network Sederhana digunakan untuk klasifikasi sederhana.
• Deep Neural Network (DNN) digunakan untuk pengenalan wajah, NLP, dll.
• DNN lebih dalam dan memiliki banyak parameter.
• DNN membutuhkan data besar dan komputasi tinggi.

Contoh Kasus: Klasifikasi Sederhana vs. Pengenalan Wajah

Klasifikasi Sederhana: Identifikasi Hewan dalam Gambar

• Model machine learning dilatih untuk mengklasifikasikan gambar ke dalam kategori seperti 'kucing' atau 'anjing'.
• Prosesnya meliputi ekstraksi fitur manual atau otomatis dari gambar dan pelatihan model klasifikasi berdasarkan fitur tersebut.
• Tantangannya adalah membutuhkan fitur yang dapat membedakan setiap kelas secara efektif.

Pengenalan Wajah: Identifikasi Individu dari Gambar Wajah

• Menggunakan deep learning, terutama Convolutional Neural Networks (CNNs), untuk mengenali individu berdasarkan fitur wajah unik mereka.
• Prosesnya melibatkan deteksi wajah dalam gambar, ekstraksi fitur wajah menggunakan CNNs, dan klasifikasi atau verifikasi identitas berdasarkan fitur yang diekstraksi.
• Tantangannya adalah mengatasi variasi pencahayaan, pose, ekspresi, dan occlusion.

Arsitektur CNN dan Penjelasannya

• Convolutional Neural Network (CNN) terdiri dari beberapa komponen utama.
• Input Layer: Menerima gambar mentah, contohnya 28x28 piksel untuk MNIST.
• Convolutional Layer: Filter/Kernel berjalan di atas input untuk mengekstrak fitur lokal seperti tepi atau tekstur.
• Activation Function (ReLU): Menambahkan non-linearitas ke model.
• Pooling Layer (Max Pooling): Mengurangi dimensi dan kompleksitas spasial dari fitur.
• Fully Connected Layer: Menghubungkan semua neuron dari lapisan sebelumnya ke output layer.
• Output Layer: Menghasilkan klasifikasi akhir.
• CNN sangat efektif dalam tugas pengolahan citra karena mampu mengekstrak fitur spasial secara otomatis dan hierarkis.

Mengapa Deep Learning?

• Deep Learning memberikan performa tinggi dalam tugas-tugas seperti pengenalan gambar, pemrosesan bahasa alami, dan pengenalan suara.
• Memiliki kemampuan dalam ekstraksi fitur otomatis.
• Deep learning memanfaatkan GPU dan data besar.

Ekstraksi Fitur Otomatis dan GPU

• Ekstraksi Fitur Otomatis adalah salah satu keunggulan utama Deep Learning.
• Deep Learning tidak memerlukan feature engineering manual.
• CNN dan DNN mampu mempelajari representasi fitur secara langsung dari data mentah.

Pemanfaatan GPU (Graphics Processing Unit)

• GPU sangat efisien dalam memproses operasi numerik besar seperti matriks dan tensor.
• Deep Learning training memerlukan banyak komputasi paralel—GPU sangat cocok untuk ini.
• Library seperti CUDA (NVIDIA) memungkinkan akselerasi komputasi deep learning secara signifikan.
• Kombinasi keduanya memungkinkan deep learning bekerja secara efisien untuk dataset yang besar dan kompleks.

Perbandingan ML Tradisional vs Deep Learning

• Ekstraksi fitur pada Machine Learning Tradisional bersifat manual, sementara pada Deep Learning bersifat otomatis.
• Kinerja pada data besar pada Machine Learning Tradisional kurang optimal, sementara pada Deep Learning sangat baik.
• Interpretasi pada Machine Learning Tradisional lebih mudah, sementara pada Deep Learning lebih sulit.

Komponen Utama Deep Learning

• Neuron buatan.
• Layer: input, hidden, output.
• Fungsi aktivasi (ReLU, sigmoid, dsb).
• Optimizer (SGD, Adam).
• Fungsi loss.

Penjelasan Komponen Utama Deep Learning

• Neuron Buatan: Unit dasar pemrosesan dalam jaringan saraf tiruan yang menerima input, melakukan operasi linier, dan menerapkan fungsi aktivasi.
• Layer:
  • Input Layer: Menerima input dari data.
  • Hidden Layer(s): Melakukan transformasi dan ekstraksi fitur.
  • Output Layer: Menghasilkan output prediksi.
• Fungsi Aktivasi: Memberikan non-linearitas; contohnya ReLU (Rectified Linear Unit), Sigmoid, Tanh.
• Optimizer: Algoritma untuk meminimalkan error; contohnya Stochastic Gradient Descent (SGD), Adam.
• Fungsi Loss: Mengukur seberapa jauh prediksi dari nilai sebenarnya; contohnya Cross-Entropy Loss untuk klasifikasi dan MSE untuk regresi.

Arsitektur Jaringan Umum

• Feedforward Neural Network (FNN).
• Convolutional Neural Network (CNN).
• Recurrent Neural Network (RNN).
• Transformer.

Framework Populer untuk Deep Learning

• TensorFlow (Google).
• PyTorch (Meta/Facebook).
• Keras (API tingkat tinggi untuk TensorFlow).
• JAX (Google).
• MXNet (Amazon).

Perbandingan Framework

• TensorFlow: Menggunakan Python dan C++, memiliki produksi dan dokumentasi yang lengkap.
• PyTorch: Menggunakan Python, mudah digunakan dan fleksibel.
• Keras: Menggunakan Python, memiliki API yang sederhana dan cepat untuk prototyping.

Apa Itu Tensor?

• Tensor adalah struktur data utama dalam Deep Learning.
• Tensor merupakan generalisasi dari skalar (0D), vektor (1D), matriks (2D), dan seterusnya.
• Tensor adalah array multidimensi.

Operasi Dasar pada Tensor

• Indexing dan slicing.
• Broadcasting.
• Operasi matematika (penjumlahan, perkalian, dot product).
• Reshape dan transpose.

Contoh Tensor

• Skalar: 5 (0D)
• Vektor: [1, 2, 3] (1D)
• Matriks: [[1, 2], [3, 4]] (2D)
• Tensor 3D: [[[1,2],[3,4]],[[5,6],[7,8]]] (3D)

Implementasi Tensor di Framework

• PyTorch: torch.tensor().
• TensorFlow: tf.constant(), tf.Variable().
• Tensor mendukung operasi GPU untuk efisiensi.

Kesimpulan

• Deep Learning adalah metode yang powerful untuk pemrosesan data kompleks.
• Framework seperti TensorFlow dan PyTorch mempermudah implementasi.
• Konsep tensor sangat penting untuk dipahami.

Pertanyaan dan Diskusi

• Ajukan pertanyaan.
• Diskusikan potensi pemanfaatan deep learning di bidang masing-masing.